ShowFPS : campagnes de benchmarks (votre avis)
Lundi 10 mars 2008 à 16 h 57
Il n'y a plus trop de nouvelles de ShowFPS depuis quelques temps en raison d'une mise à jour tellement importante qu'elle signera en fait la mise en place de la v2 du site.- En plus du nouveau design (2 skins: un clair un sombre).
- En plus du site en français, anglais et allemand avec la possibilité de se balader dans la base de données allemande ou anglaise tout en gardant le site en français (ce qui permet alors d'avoir une base de données exploitable dans n'importe quelle langue)
- En plus du système ShowPix volé à skoot et qui reprend donc le système de Pix.nofrag à la sauce ShowFPS avec en plus la config et les options de jeu affichées pour chaque screen et des galeries.
- En plus de quelques autres nouvelles fonctionnalités plus mineures et d'un gros remaniement de la base de données.
Je suis en train de mettre en place un système de campagne de benchmarks.
Ce système permettra d'avoir, pour une campagne de bench, les mêmes options (graphiques, map jouée etc) pour tous les benchmarks et permettra donc de pouvoir réellement comparer les différents tests en ayant comme seule différence le matériel informatique. L'avantage c'est qu'avec le système de langue précédemment développé, un anglais ou un allemand pourra faire un benchmark pour une campagne initiée par un français et vice et versa.
Pour éviter qu'un testeur, qui veut participer à une campagne, se plante dans le réglage de ses options graphiques, je vais permettre au membre qui va proposer une nouvelle campagne (donc qui va définir les directives à suivre) d'uploader son fichier de config avec à l'intérieur toutes les options graphiques utiles au benchmark (mais malheureusement pas que ça).
Ce fichier je vais le scanner pour récupérer les lignes portant sur les différentes options graphiques disponibles en jeu (résolution, AA, Aniso, qualité des textures, des modèles etc.) et les récupérer pour les mettre dans un fichier dédié à cette campagne.
Lorsqu'un membre voudra participer à la campagne, il lui suffira tout simplement de soumettre, dans un formulaire, le fichier de config avec lequel il joue habituellement. Le site lui génère alors un nouveau fichier de config avec les options définies par la campagne tout en gardant les autres options du testeur (la config des touches etc). Il n'aura donc plus qu'à copier le nouveau cfg dans le bon répertoire et lancer le jeu pour faire le benchmark.
Ensuite c'est comme avant. Il a un formulaire allégé (car n'ayant plus aucune option graphique à rentrer) à remplir puis à valider.
Voilà comment j'ai pensé la partie technique et utilisateur pour gérer les campagnes de benchmarks.
Avec ce système, la seule contrainte sera d'isoler les lignes de config dans les cfg des jeux et en sus, pourquoi pas, de les comprendre pour pouvoir ressortir dans la fiche détaillée de la campagne toutes les options avec explication de chaque ligne. On se retrouverait donc avec des benchmarks plus que complets et quasi parfaits.
Qu'en pensez-vous ? Si vous avez une idée pour que ça soit plus simple / moins lourd, je suis preneur.
Si je reste avec mon idée de base, les campagnes se limiteront au début à quelques jeux comme CoD4, Crysis, UT3 (les gros jeux en fait). A moins que je ne trouve quelqu'un qui puisse me filer un coup de main pour regarder les cfg et isoler les lignes qui nous intéresse pour ShowFPS.
C'est du lourd même si j'imagine que ca être ardu. Je te soutiens §
L'avantage du système pour le moment c'est qu'il est relativement simple et compréhensible par le pekin moyen.
La question est :
- Vaut-il mieux rester dans le fonctionnement de base en demandant à l'utilisateur de mettre lui même les options graphiques en jeu (Résolution, AA, Aniso, Détails graphiques, map etc.) ? Le problème avec cette méthode et qu'il y a plein de choses non prises en compte au niveau options graphiques qui peuvent influer sur les résultats. l'avantage c'est que pour moi il n'y a rien à gérer de plus par rapport à maintenant.
- Ou vaut-il mieux privilégier la qualité à la quantité en étant certain que chaque machine possède exactement les mêmes options de jeu et donne au final une campagne très complète dans les détails.
Il est là le problème.
Mais allez-y, donnez votre opinion, je ferais en fonction car je suis vraiment partagé entre les deux pour ma part.
Mais attention, pour ce nouveau système, je parle uniquement des campagnes de bench et non des benchmarks spontanés.
Par exemple, je me fout que Bernard ai mit l'anisotropique*2 et Robert l'anisotropique*4 du moment que le bench à été fait avec tout ou quasiment toutes les options à fond sur la meme résolution. Ce qui est intéressant, ce n'est pas forcement d'avoir la meme configuration de benchmark mais une idée approximative de ce que donne une config type.
Pour conclure, combien meme tu utilises le meme fichier CFG sur un jeu, la qualité du bench sera encore inégale selon le niveau joué. Quand je vais sur showfps je regarde l'ensemble des benchs correspondants à ma config plutot qu'une config exacte.
Et sinon ce qui manque (enfin avis perso ... ) c'est le prix de la machine utilisée, le soucie est que les prix évoluent ... mais en gros savoir si le pc fait 2000 euros ou 500 c'est très intéressant pour ceux qui, comme moi, veulent changer.
Bref pour moi ya pas photo, je préfère ta 2ième option "privilégier la qualité à la quantité". \o/
Ps : j'ai pas fait gaffe mais tu pourrais pas ajouter des brench avec 3dmark ? T'être que tu n'as pas le droit, ou que la liste existe déjà quelquepart sur le net ... enfin bon, bon courage.
@ Commandant_Crousto : oué mais si tu mets anis 4X ou et l'autre 2X, ça sera des bench différents, l'autre aura des performances surement supérieures au 4X alors que sa config est plus petite...c'est pas comparable donc on peut pas faire une campagne de bench cohérente
Pour le reste, c'est très bien ^^
A la limite, je rajouterais des moyennes + amplitudes (min - max) pour chaque couple jeu - GPU. Par exemple Crysis sur une 8800 GTX c'est X FPS en moyenne [Y min - Z max]. Au gens d'aller voir après les détails qui expliqueraient les différences.
[EDIT] : je viens de refaire un tour sur ton site. Ton principal problème, toujours AMHA, vient de certains membres super zélés qui se prennent la tête. C'est vrai que pour comparer a peu près exactement 2 machines il faut prendre en compte plein de paramètres.
Maintenant c'est quoi l'objectif de ton site ? C'est la seule question qui compte.
Le système que je veux mettre en place est pas super compliqué pour l'utilisateur après reflexion.
- Il envoie son cfg,
- il en récupère un nouveau qu'il copie dans son dossier sans écraser l'ancien,
- il lance le jeu et fait son benchmark
Au final ça prend moins de temps que de changer les paramètres dans le jeu, il y a moins de risque de se tromper et de fausser les benchs et en plus les benchmarks sont plus précis et fiables.
fonce, donc.
Je connaissais pas, merci pour le lien.
c'est vrai que pour le moment, c'est pas évident d'en tirer quelque chose tellement le changement de certains paramètres donne de grands écarts ...
donner un peu d'unité aux tests afin de premettre des comparaisons est une excellente idée
bonne chance pour mettre ça au point !