Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?
nnEbenfalls erschienen im Newsletter budrich @cademic (budrich intern) 09/2012nnWer wissenschaftlich publizieren will, wählt den Publikationsort, den Verlag oder die Fachzeitschrift mit Bedacht. Neben inhaltlich-fachlichen Aspekten sind meist Fragen der Qualität des Publikationsortes für die Entscheidung auschlaggebend. Die Qualität wissenschaftlicher Publikationen zu messen ist leider nicht so einfach, wie es auf den ersten Blick scheint. Dennoch blüht in Zeiten von leistungsorientierter Mittelvergabe und Hochschulevaluierungen das Geschäft mit Zitationsinformationen, wird doch weithin angenommen, Zitate wären ein Indikator für die Qualität wissenschaftlicher Leistungen.nn nnZitate und die Qualität wissenschaftlicher ZeitschriftennnSo wird zum Beispiel vielfach der Journal Impact Factor (JIF) als Kennziffer für die Qualität wissenschaftlicher Zeitschriften interpretiert. Er dividiert die Zahl der Zitate im laufenden Jahr auf Artikel eines Journals der vergangenen zwei Jahre durch die Zahl der Artikel des Journals der vergangenen zwei Jahre. Vereinfacht: Er gibt die Zitationsrate einer Fachzeitschrift innerhalb eines Zweijahresfensters an. Schon das Zeitfenster ist delikat: Der Parameter verhindert einen hohen JIF-Wert für Zeitschriften aus Disziplinen, in denen die Zitationen über viele Jahre recht gleich verteilt sind oder sehr spät ansteigen (wie Sozialwissenschaften, Geisteswissenschaften oder Mathematik) und bevorzugt Zeitschriften aus den Naturwissenschaften und der Medizin, in denen Artikel meist innerhalb kurzer Zeit nach Publikation sehr häufig zitiert werden. Zudem ist die Datenbasis, aus der der JIF berechnet wird, recht willkürlich gestaltet: Zugrunde liegt die Datenbank Journal Citation Reports (JCR), in der längst nicht alle Fachzeitschriften enthalten sind und ausgewertet werden. Schlimmer noch: JCR und JIF schließen komplette Dokumentgattungen, wie Konferenzberichte oder Monographien, aus, auch wenn diese je nach Fach einen höheren Stellenwert für die interne Wissenschaftskommunikation haben als es bei Zeitschriften der Fall ist. Zudem weisen beide einen deutlichen Sprachbias zugunsten englischsprachiger Fachzeitschriften auf, Zeitschriften in anderen Sprachen haben einen niedrigeren JIF, da sie im Sample unterrepräsentiert sind. Zuguterletzt bezieht sich der JIF auf Fachzeitschriften, nicht Artikel: Meist führt aber eine geringe Anzahl sehr häufig zitierter Artikel zu einem hohen Wert für die Zeitschrift, mehrere Studien belegen Verteilungen von 70:30 oder 80:20 zwischen selten und häufig zitierten Artikeln. Dennoch wird bei Evaluierungsverfahren meist nur der JIF-Wert der Fachzeitschriften erfasst und nicht die Häufigkeit, mit der einzelne Artikel eines Wissenschaftlers in einer Zeitschrift zitiert wurden – die erwähnten Verteilungen zwischen viel und selten zitierten Artikeln legen daher den Eindruck nahe, dass man bei einem solchem Vorgehen mit einem eigenen kaum zitierten Artikel von den high-cited Papers weniger Kollegen profitieren dürfte. Vor diesem Hintergrund fällt es überdies schwer zu behaupten eine Fachzeitschrift habe als Ganzes wegen eines hohen JIF-Wertes Qualität, dieser Wert lässt einzig die Aussage zu, dass sie meist wenige Artikel publiziert, die häufig zitiert werden.nnDie Folge: Artefakte in der WissenschaftnnTrotz dieser und anderer Mängel ist der JIF eine soziale Tatsache, er beeinflusst Handlungen und Haltungen, vor allem weil er nicht unerheblicher Faktor bei der Evaluierung wissenschaftlicher Leistung ist. Er provoziert damit Verhaltensweisen, die ohne seine Existenz ausblieben, Artefakte, die zudem nicht selten dysfunktionaler Art sind. Informatikern in den USA etwa wird von Fachgesellschaften geraten, in Zukunft in Fachzeitschriften und nicht wie sie es traditionell tun, in Konferenzbänden zu publizieren. Bislang bevorzugen Informatiker Veröffentlichungen in Konferenzbänden, da die Zeitspanne zwischen Einreichung und Publikation in den meisten Fachzeitschriften für ihre schnelllebigen Erkenntnisse zu groß ist. Befolgen sie nun die Vorschläge der Fachgesellschaften, werfen die damit die fachadäquate Publikationskultur über Bord, werden aber bei Evaluierungen besser abschneiden, da Konferenzbände wie erwähnt per definitionem keinen JIF-Wert haben können.nnDer Fetisch um den JIF führt, so Alfred Kieser, zur Tonnenideologie der Forschung, die oft einzig auf die Generierung einer möglichst hohen Zahl an Zitationen zielt und dem planwirtschaftlerischen Irrglauben erliegt eine hohe Quantität an Zitation beweise eine hohe Leistungsfähigkeit. Dieser Trugschluss führt zu grotesken Strategien, teils werben Fachbereiche und Hochschulen vielzitierte Wissenschaftler an, um kurzfristig bessere Rankingpositionen oder Evaluierungsergebnisse zu erreichen. Journalherausgeber und Verlage finden auch Gefallen am Frisieren des leicht manipulierbaren JIF, es kursieren wahre Anleitungen mit erstaunlich einfachen Tricks dazu. Da Reviews im Zähler der JIF-Division berücksichtigt werden, nicht aber im Nenner, führt z.B. eine Erhöhung der Anzahl an Reviews unweigerlich zu einem höheren JIF, immer wieder werden Autoren auch dazu angehalten, die publizierende Fachzeitschrift zu zitieren, in manchen Fällen werden sie dafür sogar mit Jahresabos der Zeitschrift belohnt.nn
nn
nnVon dieser Unschärfe ist aber nicht nur der JIF betroffen, sondern auch andere zitationsbasierte Metriken wie etwa der Hirsch- oder h-Index, dessen Formel wie folgt lautet: Ein Autor hat einen Index h, wenn h von seinen insgesamt N Veröffentlichungen mindestens jeweils h Zitierungen haben und die anderen (N-h) Publikationen weniger als h Zitierungen. Ein Autor hat demnach einen h-Index von 8, wenn er 8 Schriften veröffentlicht hat, die jeweils mindestens 8 Mal zitiert worden sind. Der h-Index ist so etwas wie der Shooting-Star der Impact-Maße, sehen doch nicht wenige in ihm ein Maß für die Qualität eines Forschers und die soll ja unter anderem für Beförderungen maßgeblich sein. Allerdings kamen Jensen, Rouquier und Croissant 2008 zu einem anderen Schluss: Sie untersuchten den statistischen Zusammenhang zwischen den Werten verschiedener zitationsbasierter Metriken (darunter JIF der Fachzeitschriften, in denen man publizierte, h-Index und eine Vielzahl anderer Maße) für einzelne Forscher an der angesehenen französischen Forschungseinrichtung Centre national de la recherche scientifique (CNRS) und der Häufigkeit mit der diese Forscher befördert wurden. Von den untersuchten Verfahren war der h-Index am besten geeignet, Beförderungen am CNRS zu erklären, allerdings nur in 48% der Fälle. Kurzum: Auch das genauste Maß konnte in mehr als der Hälfte der Fälle Beförderungen nicht vorhersagen.nn
nnWas bleibt sind viele Fragen: Misst der h-Index doch die Qualität eines Forschers, auch wenn er Beförderungen nicht vorhersagen kann, weil für diese andere Faktoren als die rein wissenschaftliche Qualität ausschlaggebend sind? Oder war für die Beförderungen am CNRS doch Qualität verantwortlich und h-Index, JIF und Co. messen gar keine Qualität, sondern Popularität oder eine völlig andere Dimension? Johan Bollen beschrieb Qualität in der Wissenschaft 2009 als mehrdimensionales Konstrukt, das nicht durch eine einzige Metrik oder Zahl beschrieben werden könne und fügt bezüglich des JIF an, dieser sage wenig über Qualität aus. Wer Qualität messen will, muss dazu demnach ein ganzes Set an Eigenschaften erheben und ausgeklügelt in Relation zueinander setzen. Eine dieser Eigenschaften sind Zitationswerte, auch wenn diese laut Bollen für das Konstrukt Qualität weniger ausschlaggebend sind als andere Eigenschaften. JIF und h-Index hingegen begnügen sich letztlich mit dem „Messen des leicht Messbaren„, wie Gerhard Fröhlich 1999 feststellte. Man könnte noch weitergehen und fragen, ob Qualität nicht zudem individuell definiert wird. Wenn man das tut, müsste auch jeder Leser wissenschaftlicher Literatur in autonomer und souveräner Art für sich entscheiden, welche Texte und Artikel für ihn Qualität haben und welche nicht und dabei nicht auf einen kruden Zitationswert schielen, sondern auf das Urteil von Experten und Kollegen vertrauen – und nicht zuletzt auch auf das eigene.nn
nnLiteratur:nnBollen, J., Van De Sompel, H., Hagberg, A., & Chute, R. (2009). A principal component analysis of 39 scientific impact measures. PloS one, 4(6), e6022. doi:10.1371/journal.pone.0006022, http://www.plosone.org/article/info:doi/10.1371/journal.pone.0006022nnFröhlich, G. (1999). Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In J. Becker & W. Göhring (Eds.), Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft (pp. 27–38). GMD- Forschungszentrum Informationstechnik GmbH. http://eprints.rclis.org/archive/00008982/nnHerb, U. (2012). Pimp my Impact Factor. Telepolis, (06.02.2012). http://www.heise.de/tp/blogs/10/151361nnJensen, P., Rouquier, J.-B., & Croissant, Y. (2008). Testing bibliometric indicators by their prediction of scientists promotions. Scientometrics, 78(3), 467–479. http://www.springerlink.com/content/u4467542442h1544, doi:10.1007/s11192-007-2014-3nnKieser, A. (2010). Die Tonnenideologie der Forschung. Frankfurter Allgemeine Zeitung, (130), N5. http://www.faz.net/aktuell/feuilleton/forschung-und-lehre/akademische-rankings-die-tonnenideologie-der-forschung-1997844.htmlnn
- scidecode continues to be scidecode, but scinoptica lives again - 9. Dezember 2022
- Update on the scidecode study on Persistent Identifiers (PIDs) - 22. Mai 2022
- Open Journal Systems (OJS) Installationen in Deutschland - 19. Mai 2022
