SANQUA ~ Voir le sujet

VOila, le Metacritic francais du nom de Criticator vient d'ouvrir.

Bien evidemment il souffre des memes defauts que ses aines sur la maniere dont ils font la ponderation des notes :

http://www.criticator.fr/notes-moyennes-et-agregation-s1.html

Habitue Localisation: Paris

Je ne comprends pas l'argument sur la fréquence des critiques... En quoi le fait de ne pas chercher à publier 18 critiques par jour est un mal ?

Idem pour la longueur, en quoi un avis de 6000 mots vaut plus qu'un avis de 3000 mots ?

Frequence ; ils croient sans doute que les sites qui passent plus de temps sur chaque jeu (en les finissant, par exemple), sont moins fiables que ceux qui en testent douze par jour comme des poissonniers.

Longueur : encore, ils croient sans doute que longueur = meilleur avis, alors qu'il est souvent possible de faire court.

D'autre part, il est completement incoherent mathematiquement de faire des moyennes sur des choses qui ne sont pas identiques. Pour que cette moyenne signifie quelque chose, il faudrait que chaque site note le jeu selon les memes criteres. Sinon c'est comme faire une moyenne entre des poires et des pommes, ca ne veut rien dire.

Salut

Je suis le fondateur de Criticator, et je vais essayer de défendre un peu le projet, meme si je m'y attendais et je comprends quelques unes de vos remarques Wink

Je ne crois pas qu'un site qui poste plus de critiques qu'un autre soit automatiquement plus fiable. En revanche, un site qui publie des tests régulièrement, est a priori un site ayant une structure professionnelle, et qui en matière de tests, testant beaucoup de choses, a une vue concrète du marché. Il peut y avoir des exceptions, mais dans les titres de presse concernés et répertoriés sur Criticator, c'est souvent le cas. Concernant la longueur, peut-être me suis-je mal exprimé mais on pourrait appeler cela aussi construction ou "argumentaire". Le fait est qu'un site ayant de longs tests a souvent un argumentaire très détaillé montrant justement qu'il est allé au bout du jeu.

Comme indiqué dans le long texte cité, c'est loin d'être le seul critère. Mettre tout le monde d'accord sur la hiérarchie est impossible. Ceci dit, pour les sites cités ci-dessus, ce sont incontestablement des références françaises. On peut ne pas être d'accord, trouver que jeuxvideo.com note trop largement et est trop grand public, que Gamekult note trop sévèrement et est trop élitiste, mais le fait est que ce sont des leaders d'audience dans le paysages des sites de jeux vidéo français, et donc qu'une (grande) partie des internautes français y trouve son bonheur. Je me doute bien qu'avec ce concept, je me heurterais à des communautés qui considèrent que "leur" site est le meilleur et ceux des autres pourris !

Pour la remarque sur l'objectivité, tous les sites de jeux vidéo ou presque vivent de la pub et/ou se font expédier des jeux par les éditeurs. Ce raisonnement marche aussi pour la presse papier. Dans ce cas, on ne fait confiance à personne, on arrête de lire la presse, et on achète les yeux fermés. un tel raisonnement marche pour tout : sites de tests de produits numériques, sites sur le cinéma etc.. Question indépendance, Criticator l'est forcément puisqu'il ne teste rien. Criticator ne fait que répercuter une tendance de la presse. Vos reproches d'objectivité sont donc plutot à diriger vers les sites que vers Criticator, même si je les trouve infondés.

De tous les retours que j'ai eu ou presque, les notes sont fiables, et étant joueur moi-même, je trouve qu'elles le sont. Et c'est bien ça le principal. L'exemple de Metacritic (ou gamerankings, rottentomatoes etc...) que vous citez est significatif, puisque ces sites sont devenus incontournables aux USA pour les internautes, ce qui montre que ces derniers y trouvent des infos intéressantes.

Comme dit sur le site, le but de Criticator n'est pas de faire des classements pour dire que tel jeu est meilleur qu'un autre, car en effet, on ne peut vraiment dire si un jeu de foot est meilleur qu'un jeu d'action. La démarche, c'est plutot d'apposer une note moyenne sur un jeu pour dire si celui-ci est apprécié par la presse ou non. les classements servent à mettre en valeur les bons ou mauvais jeux de chaque plateforme. Je pense que quelq'un qui vient de s'acheter une DS, et regarde le top DS Criticator, ne regrettera pas d'acheter les 3 premiers.. Chrono Trigger est devant Chinatown Wars, et je serais bien incapable de dire si y'en a un meilleur que l'autre, mais ce que je sais, c'est que ce sont deux des meilleurs jeux dispos sur DS, et Criticator les sort tout de suite du lot.

Allez, je pourrais en écrire une tartine, et je deviendrais surement soporiphique et lourd ! Smile

A+

Habitue Localisation: Paris

Merci pour ton message Phi. Je ne pense pas que Sanqua se voit comme "le meilleur dite de jeu vidéo", puisque les tests de Sanqua ne sont pas vraiment amenés à paraître sur Criticator (pas de note par exemple). Et puis après tout, il n'existe pas de "meilleur site de jeu vidéo" selon moi... Smile

Concernant ton exemple du top DS, je dois en revanche m'opposer fermement à ton avis. GTA est un mauvais jeu, répétitif, avec un mauvais scénario et très laborieux dans sa progression. Je ne pense pas pour autant que Criticator soit le problème mais plus la façon dont il a été perçu par la presse...

Je reste donc sceptique sur ce site et ce n'est certainement pas celui-ci qui me permettra de bien juger les jeux. Mais il doit y avoir une demande, donc bon courage.

La question de noter ou pas noter est une vaste question. Elle dépasse largement le cadre du jeux vidéo. On ne sera surement pas d'accord sur ce point.
On peut toujours y trouver quelque chose à redire, en ce qui me concerne je trouve qu'une note se prête assez bien au paysage vidéoludique car elle permet de différencier un jeu d'un autre, tant la qualité des productions peut varier.
Criticator n'a jamais eu la volonté d'avoir une réalité scientifique. Comme vous dites, une note est forcément subjective. L'objectif avec Criticator est de donner la tonalité de la presse dans son ensemble, pas d'apporter et dire de manière abrupte "voila, ce jeu ça vaut 7.6 sur 10".
Pour l'objectivité, c'est un débat sans fin. Comme je l'ai dit plus haut, si on part du postulat du conflit d'intérêt systématique, on ne lit plus rien à part les magazines auto financés ou sous forme d'association. Cela vaut pour la presse dans son ensemble, télé internet et radio.
Pour les "gros" sites, il y a surement des impératifs de quantité et de productivité, mais je trouve que quelques sites français s'en sortent très bien, et je n'ai que très rarement été surpris de la note d'un jeu par rapport à ma propre expérience.

Metacritic est incontournable aux USA, et je parle des professionnels du secteur. Le site est devenu une référence, beaucoup lu par des reponsables de haut niveau américain (éditeurs, développeurs). Alors il a aussi ses détracteurs, qui tiennent d'ailleurs un discours similaire au votre, et qui se défend, mais il a aussi trouvé son public.

Pour la pondération, vous rapportez toujours tout au scientifique. mais Criticator n'est pas scientifique, puisque comme vous le dites il y a une part de subjectivité dès qu'on parle de note et de pondération. J'avais songé à un moment à faire la pondération en fonction des votes de la communauté. Mais c'est impossible tant les risques de voir un sondage perverti par une communauté sont grands.

Quant à communiquer la pondération, je ne le fais pas, car je n'ai pas envie de créer de hiérarchie entre les sites de manière publique. Cela m'attirerait des ennuis déja vis à vis des sites, que j'ai pour la plupart contactés et qui aiment le concept, et ensuite vis à vis des internautes, car personne ne saurait être d'accord là dessus.

Alors je reconnais forcément une part de subjectivité à Criticator dans le traitement des informations répertoriées, mais cette subjectivité n'est elle influencée par aucun intérêt, puisque je garde ces informations confidentielles. C'est déja ça de gagné.

Je n'ai jamais clamé une quelconque objectivité ou réalité scientifique sur Criticator, et il me semble avoir beaucoup expliqué le concept sur le site. On adhère ou on n'adhère pas Wink

En outre, vous oubliez un des buts de Criticator également : répertorier tous les tests français et les rendre accessibles rapidement à partir d'un seul site, en dehors de toute considération de notes !

Habitue Localisation: Paris-Annecy

Metacritic a été beaucoup critiqué à ses débuts, notamment par les gens du métier sur le coté grand n'importe quoi de la notation (à raison d'ailleurs), et puis finalement maintenant dans toutes les conférences des gros éditeurs (mais également dans la presse spécialisée) on peut voir des beaux graphiques sur les notes de leurs jeux (donc la "tendance" sur la "qualité des titres") avec en légende: "source metacritic".

Je trouve que ça correspond tout à fait à ce qu'est l'industrie du jeu aujourd'hui, on note les jeux comme n'importe quels autres produits. Que ce soit un jeu ou une machine à laver, ça ne fait aucune différence. Et Metacritic & criticator sont un peu des i-comparateurs dédiés aux jeux vidéo, sauf que si on peut comparer les prix et les spécifications techniques de machines à laver, ça fonctionne déjà beaucoup moins bien pour évaluer le travail des élèves à l'école ou appliqué à un médium comme le jv.

Maintenant va-t-en mettre une notre à des jeux comme Katamari, SoTC, Ico, Braid, Lalaland, Noby Noby Boy, Flower...?

En tout cas je suis d'accord avec Eki, quand on en arrive à vouloir faire des "méta-notes", autant le faire bien, il vaut mieux effectivement tenter de construire une note en faisant un travail de revue de presse méticuleux pour essayer de dégager une tendance que de sortir un système statistique 100% bidon à la metacritic. Et même de cette façon ça reste discutable, il y a l'exemple d'allociné qui a rencontré des problèmes avec certains journaux qui ont refusé qu'on résume leurs critiques de deux pages avec 5 petites étoiles.

Habitue

Habitue Localisation: Paris-Annecy

Pour revenir sur l'aspect scientifique ou non de criticator, le problème c'est qu'à partir du moment où le concept repose sur un calcul mathématique (en l'occurrence la moyenne pondérée ci-dessous):

on empreinte un outil scientifique pour faire un exercice qui est proche de la numérologie car:

Les critères de notation ne reposent pas sur quelque chose de stable et standard (tel que les spécifications techniques et le prix d'une machine à laver que j'évoquais plus haut)
Pour les sites qui composent leurs notes sur plusieurs critères, la granularité dans la notation se réduit souvent à des termes généraux (réalisation, son, graphisme, scénario, durée de vie, gameplay, jouabilité, prise en main, fun) qui sont eux-mêmes bourrés d'ambiguïtés et ont fait l'objet de nombreux débats enflammés
L'échantillon qui est le gros point noir dès lors qu'on ne garde pas le même pour établir chaque note
Et enfin le procédé utilise une pondération cachée qui laisse imaginer toutes les possibilités qu'offrent ce genre de variable pour un site commercial

Donc ce qui est le plus gênant, ce n'est pas que ça soit scientifique ou pas, mais c'est d'utiliser un calcul mathématique pour appuyer ce concept comme pour faire valider sa crédibilité alors que c'est ni plus ni moins qu'un tour de magie.

Je crois que nous sommes à des années lumière niveau conception des choses.
Vous tentez de me faire dire que je veux donner une réalité statistique ou scientifique aux notes, alors que ce n'est pas le cas.
Criticator, c'est juste un site qui fait une revue de presse de tests de jeux vidéo, et qui en bonus, et pour ceux qui adhèrent à cela (il me semble avoir suffisamment expliqué le concept sur le site), calcule une note moyenne maison qui est une synthèse, faite selon MES critères, des notes référencées. Rien de plus. C'est un site, fortement teinté de la personnalité de son créateur, et pas le site de l'organisme officiel des statistiques des jeux vidéo, et les méthodes employées correspondent à mes convictions et à ma vision des choses. Je n'ai jamais prétendu que Criticator serait LE site qui fera l'unanimité et qui sera objectif, Criticator est subjectif, mais il est indépendant par contre.

Je savais pertinemment en lançant ce concept que j'aurais des réactions comme les vôtres, et c'est normal, un concept ne peut pas plaire à tous. J'ai aussi des retours positifs de gens qui trouvent sympa d'avoir une tonalité de la presse (meme si elle est maison) et de ne pas se fier qu'à une critique, et d'avoir la possibilité d'accéder à partir d'un site à la majorité des tests de jeux vidéo français. Il en faut pour tout le monde, et encore une fois je n'ai jamais eu la volonté ou la prétention de dire que j'allais sortir une vérité absolue ou que mon concept était 100% objectif.

On est opposé sur la question de notation en général j'ai l'impression et je pense vraiment que c'est une discussion sans fin, ou au final chacun restera sur son avis.

A+

Habitue Localisation: Paris-Annecy

Pour ne pas exclusivement parler des points négatifs, voici deux points que je trouve positifs:

Grand Theft Auto : Chinatown Wars

Habitue

Ce qui me gène le plus c'est le coté limite arbitraire de ta moyenne dans la mesure ou la plupart de tes lecteurs à venir ne chercherons pas à comprendre d'où elle vient et la prendrons pour argent comptant. Du coup même si tu annonces la couleur, rare seront ceux qui liront l'explication du pourquoi du comment et il y a un "risque" de metacritisation de la chose. Pour tes visites c'est très bon pour l'aspect rationnel ça l'est moins.

Par contre j'adore l'idée de regrouper toute les critiques, au moins on à pas à regarder partout pour voir les tests des différents sites. Limite il ne faudrait que ça, mais bon faut bien attirer le chalant et un gros chiffre en % marche très bien pour ça Smile

.

Donc même si sur la démarche stateuse (ya une moyenne c'est forcément des stats :p) jsuis pas pour, ya des bonnes idées et je te souhaite bonne chance pour la suite.

Derniere chose : il serait tout a fait utile, au lieu de se fier simplement a la moyenne, de calculer aussi la deviation standard ou l'ecart-type, histoire de comprendre si les notes donnees par les different sites sont polarisees ou si elles sont fondamentalement tres similaires.

Tres simple a faire, et tres tres utile quand on lit de tes chiffres.