Adam Sessler über Metacritic: http://www.youtube.com/watch?v=kqeiN4pqTjo
von Julian Dasgupta,
Metacritic unter die Haube geschaut
Metacritic gilt als einflussreiche Brancheninstitution, die für viele Nutzer ein Anlaufpunkt für Wertungen ist. Und für viele Hersteller ist die Seite mangels anderer Metriken eine Messlatte für Qualität, von der bei Entwicklern nicht selten bestimmte Zielmarken und damit verbundene Boni abhängig sind.
Es ist kein Geheimnis, dass das Portal dabei keine reine Durchschnittswertung, sondern einen gewichteten Durchschnitt publiziert, auf den manche Magazine einen größeren, andere einen kleineren Einfluss haben. Daraus, wie diese Gewichtung aussieht, machen die Betreiber aber seit jeher ein Geheimnis.
Wie Gamasutra berichtet, hat Adams Greenwood-Ericksen von der Full Sail University die Webseite zusammen mit Studenten einige Monate lang analysiert. Mittels statistischer Methoden hat das Team versucht, die Gewichtungen rückwärts zu ermitteln. Das daraus entwickelte Modell auf Basis von 188 erfassten Magazinen habe sich fast immer als übereinstimmend erwiesen bei späteren Wertungen. (Anmerkung: 4Players wird ebenfalls bei Metacritic geführt, wurde aber nicht im Rahmen der vor 18 Monaten begonnenen Untersuchung erfasst und eingestuft.)
Zu den Magazinen mit der höchsten Gewichtung zählen u.a. Game Informer, die New York Times, Wired und IGN. Was natürlich immer noch nicht erklären würde, auf welcher Basis Metacritic eigentlich einstuft. So sind z.B. Eurogamer Spanien und Italien höher eingestuft als die internationale Mutterseite, die eine neutrale Gewichtung hat.
Es ist nicht unüblich, dass gewisse Magazine ihre Tests bestimmter Spiele zuerst veröffentlichen dürfen, während andere Magazine sich an Embargos halten müssen oder gar nicht mit Rezensionsexemplaren bemustert werden. Das Ansinnen ist recht klar, sind so doch zuerst die höchsten, den Hersteller genehmen Wertungen im Umlauf. Ein weiterer Effekt: Die bereits vorhandenen Wertungen beinflussen jene, die ein Spiel noch testen müssen. So gibt es laut der Analyse von Greenwood-Ericksen bei den initialen Wertungen noch eine gewisse Spannbreite bzw. Variabilität; ab einem gewissen Zeitpunkt würden folgende Wertungen sich nur innerhalb des dann gesetzten Spektrums bewegen.
Das Team beanstandet zudem die schon häufiger kritisierte Vorgehensweise, Wertungen aus einem anderem System, z.B. Schulnoten, in das 100er System zu konvertieren.
Zwischen den Wertungen und dem Absatz gebe es auch einen statistischen Zusammenhang: Ab einem Durschnitt von 83 würden die Verkaufszahlen deutlich besser ausfallen. Die Korrelation beträgt hier 0.72 - das Team betont natürlich, dass es sich eben um eine Korrelation handelt und man auf Basis dessen nicht von einer Kausalität sprechen sollte.
Metacritic antwortet
Das Portal hat übrigens mittlerweile ein offizielles Statement veröffentlicht und die Ergebnisse erwartungsgemäß kritisiert. Die Schätzungen des Teams seien "ziemlich und absolut ungenau/falsch".
Metacritic habe weniger als die sechs von Greenwood-Ericksen et al postulierten Gewichtungen. Auch seien die Unterschiede zwischen diesen in Wirklichkeit viel geringer als gemutmaßt. Laut des Modells hätten die am höchsten eingestuften Magazine sechs Mal so viel Gewicht wie die mit der niedrigsten Einstufung. Die tatsächliche Gewichtung würde aber nicht so weit auseinandergehen und einen geringeren Einfluss auf die Berechnung der Wertung haben.
Last but not least: Die vermutete Einstufung der Magazine würde von der wirklichen abweichen. Viele Magazine seien über-, andere unterbewertet worden. In manchen Fällen sei die Differenz geradezu absurd. Metacritic würde zudem die Gewichtung regelmäß anpassen bzw. ändern in Abhängigkeit vom Qualitätstrend der Magazine.
Es ist kein Geheimnis, dass das Portal dabei keine reine Durchschnittswertung, sondern einen gewichteten Durchschnitt publiziert, auf den manche Magazine einen größeren, andere einen kleineren Einfluss haben. Daraus, wie diese Gewichtung aussieht, machen die Betreiber aber seit jeher ein Geheimnis.
Wie Gamasutra berichtet, hat Adams Greenwood-Ericksen von der Full Sail University die Webseite zusammen mit Studenten einige Monate lang analysiert. Mittels statistischer Methoden hat das Team versucht, die Gewichtungen rückwärts zu ermitteln. Das daraus entwickelte Modell auf Basis von 188 erfassten Magazinen habe sich fast immer als übereinstimmend erwiesen bei späteren Wertungen. (Anmerkung: 4Players wird ebenfalls bei Metacritic geführt, wurde aber nicht im Rahmen der vor 18 Monaten begonnenen Untersuchung erfasst und eingestuft.)
Zu den Magazinen mit der höchsten Gewichtung zählen u.a. Game Informer, die New York Times, Wired und IGN. Was natürlich immer noch nicht erklären würde, auf welcher Basis Metacritic eigentlich einstuft. So sind z.B. Eurogamer Spanien und Italien höher eingestuft als die internationale Mutterseite, die eine neutrale Gewichtung hat.
Es ist nicht unüblich, dass gewisse Magazine ihre Tests bestimmter Spiele zuerst veröffentlichen dürfen, während andere Magazine sich an Embargos halten müssen oder gar nicht mit Rezensionsexemplaren bemustert werden. Das Ansinnen ist recht klar, sind so doch zuerst die höchsten, den Hersteller genehmen Wertungen im Umlauf. Ein weiterer Effekt: Die bereits vorhandenen Wertungen beinflussen jene, die ein Spiel noch testen müssen. So gibt es laut der Analyse von Greenwood-Ericksen bei den initialen Wertungen noch eine gewisse Spannbreite bzw. Variabilität; ab einem gewissen Zeitpunkt würden folgende Wertungen sich nur innerhalb des dann gesetzten Spektrums bewegen.
Das Team beanstandet zudem die schon häufiger kritisierte Vorgehensweise, Wertungen aus einem anderem System, z.B. Schulnoten, in das 100er System zu konvertieren.
Zwischen den Wertungen und dem Absatz gebe es auch einen statistischen Zusammenhang: Ab einem Durschnitt von 83 würden die Verkaufszahlen deutlich besser ausfallen. Die Korrelation beträgt hier 0.72 - das Team betont natürlich, dass es sich eben um eine Korrelation handelt und man auf Basis dessen nicht von einer Kausalität sprechen sollte.
Metacritic antwortet
Das Portal hat übrigens mittlerweile ein offizielles Statement veröffentlicht und die Ergebnisse erwartungsgemäß kritisiert. Die Schätzungen des Teams seien "ziemlich und absolut ungenau/falsch".
Metacritic habe weniger als die sechs von Greenwood-Ericksen et al postulierten Gewichtungen. Auch seien die Unterschiede zwischen diesen in Wirklichkeit viel geringer als gemutmaßt. Laut des Modells hätten die am höchsten eingestuften Magazine sechs Mal so viel Gewicht wie die mit der niedrigsten Einstufung. Die tatsächliche Gewichtung würde aber nicht so weit auseinandergehen und einen geringeren Einfluss auf die Berechnung der Wertung haben.
Last but not least: Die vermutete Einstufung der Magazine würde von der wirklichen abweichen. Viele Magazine seien über-, andere unterbewertet worden. In manchen Fällen sei die Differenz geradezu absurd. Metacritic würde zudem die Gewichtung regelmäß anpassen bzw. ändern in Abhängigkeit vom Qualitätstrend der Magazine.