Was macht Qualität von Forschung? Popularität, Anwendbarkeit, Originalität oder Einfluss?
Wie wird dies bestimmt? Kann dies gemessen werden?
In der NZZ ist ein interessanter Artikel über den Science-Citation-Index (SCI) und die darauf basierende Zitationsanalyse erschienen. Bei der Zitationsanalyse wird via dem SCI gemessen wie viele Male eine Publikation zitiert wurde. Also wie viele Male ein davon in weiteren Artikel “gesprochen” bzw bezugenommen wurde. Das kann Aufschlüsse über die Popularität und den Einfluss geben und so womöglich auch über die Qualität – also via Quantität.
Vermessene Wissenschaft: Der Science-Citation-Index – Datenbank, Schiedsrichter und Machtinstrument, Neue Zürcher Zeitung, 10. Aug. 2011
Doch es ist bis heute, auch nach eingehender Erforschung des Phänomens des «wissenschaftlichen Zitierens», mehr als unklar, was ein Zitat, ein Fingerzeig von einem Aufsatz zum andern, eigentlich bedeutet. Verweisen Forscher beim Zitieren tatsächlich auf ihre wichtigsten Quellen, wollen sie mit den Zitaten nicht vielmehr den eigenen Artikel aufwerten oder bloss einem geschätzten Kollegen Referenz erweisen?
Der Peer-Review war von Anfang an ein notorisch vetternwirtschaftliches Verfahren. Als Stütze der «Old-Boys-Networks» zog die Beurteilung durch die Kollegen dementsprechend immer wieder Kritik auf sich.
In einer Polemik schreibt der Wissenschaftssoziologe Peter Weingart von der Universität Bielefeld, es gebe «inzwischen eine Bevorzugung der Forschungsquantität gegenüber der Qualität, ebenso zugunsten der kurzfristigen Leistung, nicht aber der langfristigen Forschungskapazität, und schliesslich eine Bevorzugung konventioneller Forschungsansätze».
So kann man Universitäten und Institute bewerten oder Journals nach ihrer Wichtigkeit einreihen. Dies geschieht mit dem sogenannten Impact-Factor, der viel zum schlechten Ruf der Scientometrie beigetragen hat. Er wird oft falsch angewendet und kann von den Fachzeitschriften manipuliert werden.
Noch fragwürdiger ist, die Leistung einzelner Forscher mithilfe des SCI zu quantifizieren. Von solchen Einzelbewertungen halten selbst Befürworter quantitativer Methoden wenig. … Als Faustregel kann gelten, dass die Top-Shots eines Fachs mit Zitationsanalysen zuverlässig identifiziert werden, man aber spätestens im akademischen Mittelfeld kaum mehr verlässlich sortieren kann, da die Datenlage schlicht zu schlecht ist
Interview mit dem Erfinder des Science-Citation-Indexes (SCI)
«Zahlen sind keine Fakten»: Ein Gespräch mit Eugene Garfield, Neue Zürcher Zeitung, 10. Aug. 2011
Es hat mich immer irritiert, dass der SCI benutzt wird, um Durchschnittswissenschafter zu evaluieren. Dafür taugt er nicht, das habe ich immer wieder betont. Erst wenn genug Daten – sprich Zitationen – vorhanden sind, wird die Auswertung verlässlicher. Und das gilt eben nur für vielzitierte Forscher.