Peer Review Showroom bei RePEc

RePEc, das Nachweisinstrument zu Publikationen und Preprints in den Wirtschaftswissenschaften, stellt seinen Nutzern einen neuen Service zur Diskussion: Ein Peer Review Showcase für herausragende Gutachten zu Artikeln aus den Wirtschaftswissenschaften. Der Ansatz des Vorhabens ist lobenswert und überfällig: Das Verfassen einer guten Review zu einem eingereichten Artikel ist aufwändig und verbessert diesen spürbar. Die Review kann leicht sogar besser als die Submission ausfallen. Zudem ist die  Reviewertätigkeit eine Last, auch weil in Zeiten steigenden Publikationsdrucks immer mehr Gutachten verfasst werden müssen. Zudem, das ist altbekannt, verzehren die schlechtesten Artikel, die fortwährend abgelehnt und bei anderen Journals neu eingereicht werden, in der Summe die meiste Zeit. Neben dem von RePEc zur Diskussion gestellten Showcase gibt es auch andere Ansätze, dem Gutachten respektive dem Reviewer Anerkennung zu verschaffen. In Atmospheric Chemistry and Physics wird die Review mit dem publizierten Artikel veröffentlicht und so Teil der Wissenschaftskommunikation; nebenbei dürfte die Gewissheit einer Veröffentlichung der Review deren Qualität erhöhen. Andere Überlegungen zielen drauf, die Mühen der Gutachter durch eine Art Reviewer Index zu entlohnen, der ihren Beitrag zur wissenschaftlichen Kommunikation ähnlich zu quantifizieren versucht, wie es der Hirsch-Index oder andere Kennziffern versuchen – aber eben nicht auf Basis der Zitationen eigener Artikel, sondern anhand der von Wissenschaftlern verfassten Gutachten.

Im RePEc Showroom reichen Editors als veröffentlichungswürdig erachtete Reviews ein, nachdem sie bei Autoren und Gutachtern die Erlaubnis dazu eingeholt haben. Die Gutachter können auf Wunsch bei Publikation ihrer Reviews anonym bleiben. Dies läuft zwar dem Gratifikationsmodell zuwider, schützt sie aber vor akademischer Rache in Fällen, in denen die Einreichung letztlich abgelehnt wurde. Aber selbst dann kann das Journal mit Publikation der Gutachten auf die Qualität der Begutachtung verweisen. Und ja: Auch ablehnende Reviews können im Showroom publiziert werden. Die Auswahl, welche Gutachten letztlich publiziert werden, obliegt dem RePEc-Stab. Veröffentlichte Reviews sollen, sofern möglich, mit dem begutachteten Artikel verlinkt werden.

Die Zukunft des Peer Review Showrooms ist offen, seine Einrichtung wurde gestern den Editors in der Community vorgeschlagen, die sich nun zur Umsetzung der Idee äußern können.

 

Literatur

Baveye, P. C., & Trevors, J. T. (2010). How Can We Encourage Peer-Reviewing? Water, Air, & Soil Pollution, 214(1-4), 1-3. doi:10.1007/s11270-010-0355-7. Online: http://www.springerlink.com/index/d7713174398576ml.pdf

Huggett, S. (2010). In recognition of peer reviewers. Research Trends, (18), 10-11. Online: http://info.scopus.com/researchtrends/pe_foc_18.html

Pöschl, U. (2006). Open Access & Collaborative Peer Review: Öffentliche Begutachtung und interaktive Diskussion zur Verbesserung von Kommunikation und Qualitätssicherung in Wissenschaft und Gesellschaft. In S. Hornbostel & D. Simon (Eds.), Wie viel (In-) Transparenz ist notwendig? : Peer Review revisited (iFQ Workin., pp. 43-46). Institut für Forschungsinformation und Qualitätssicherung. Online: http://www.forschungsinfo.de/publikationen/download/working_paper_1_2006.pdf

 

Open Review mit PaperCritic?

Der Service PaperCritic greift auf Mendeleys Datenbestand zu und erlaubt es registrierten Mendeley-Nutzern, offene Reviews zu verfassen. Begutachtet werden können Paper, die in Mendeley erfasst wurden und deren Metadaten dort zugänglich sind; bibliographische Nachweise, die ausschließlich in geschlossenen Gruppen vorliegen, sind anscheinend ausgeschlossen. Für diejenigen, die diesen Dienst nicht kennen: Mendeley bietet eine Online-/Offline-Literaturverwaltung, inklusive Kollaborationswerkzeugen und Integration in Textverarbeitungssoftware. Da Mendeley die Metadaten der erfassten Publikationen über eine API bereitstellt, können andere Services auf den Informationen aufbauen. So macht es auch PaperCritic, das sich wie folgt in Fragen der Wissenschaftskommunikation positioniert:

„Right now, the only acceptable way of presenting one’s academic work and obtaining critical reviews for it is through the tedious and obscure submit-and-wait process. Here at PaperCritic, we find this way of promoting science severely outdated and simply unacceptable. It is for this reason that we offer researchers a way of obtaining feedback for their scientific work, and everybody interested a way of providing it, in a fully open and transparent environment. „

 

Mendeley übernimmt demnach die Verwaltung und Präsentation der Publikationsdaten, die Begutachtungsfunktion stellt PaperCritic. Die angedeutete Konkurrenz zur oft geheimbündlerischen Peer-Review dürfte PaperCritic eher nicht darstellen, da die verfügbaren Metadaten weit überwiegend bereits publizierte Dokumente beschreiben, immerhin ermöglicht es aber eine offene Post Publication Review. Vielleicht findet die Idee ja adaptive Nachahmungen und E-Publikationsplattformen bedienen PaperCritic, so dass Preprint-Server eine Open Review über den Dienst anbieten können.

Zurück zu den Funktionalitäten des Services: Wer eine Review verfassen will, kann dies entweder aus der PaperCritic-Oberfläche nach Recherche einer Publikation tun oder per Klick aus dem Mendelely-Interface, während er die Metadaten einer Quelle betrachtet. Dazu muss er zuvor seinen Lesezeichen den PaperCritic-Button hinzufügen. PaperCritic ist leider nicht in die Mendeley Desktop-Software integriert.

Publikationen können folgendermaßen bewertet werden: Zum Rating der Merkmale References, Originality, Argumentation und Readability stehen fünf-stufige Skalen zur Verfügung. Zusätzlich wird abgefragt, ob man das Werk anderen empfehlen würde und wie man den Anspruch des Textes einordnet (Introductory, Intermediate oder Advanced). Hübsch: Wer ein Dokument reviewed muss auch offen legen, welches Ausmaß an Sachkenntnis er bezüglich des Dokumentinhalts aufweist: Ist man Beginner, Intermediate oder wirklich Expert? Fraglich könnte sein, ob die Selbsteinschätzung immer einer externen Validierung standhielte.

Mein Fazit nach zugegebenermaßen kurzem Test: Wie oben erwähnt, zweifele ich, ob viele Mendeley-User Dokumente mit PaperCritic begutachten. Dazu wird meist der Anreiz fehlen und die wenigsten Nutzer werden ein bereits publiziertes Paper bewerten. Obendrein fehlt der Belohnungscharakter: Während eine Gutachter-Tätigkeit für ein Journal die Reputation eines Wissenschaftlers durchaus mehren kann, dürfte ein Beitrag in PaperCritic nur in bescheidenem Ausmaß wissenschaftliche Aura verleihen. Da eine gute Review Zeit in Anspruch nimmt (die wiederum durch fachliche Anerkennung aufgewogen sein will), könnte das zum Vertexten der Review angebotene Feld selten und knapp gefüllt werden. Dennoch: Das Konzept hat Charme und bietet Recherchierenden eine Orientierungshilfe. Diese wäre aber unverhältnismäßig größer, wenn man die PaperCritic-Ratings auch in Mendeley einbände. Interessanter erschiene (wie oben erwähnt) eine Verknüpfung von Preprint-Servern mit einer Plattform im Stile von PaperCritic, die die Recherche der Bewertungen (oder deren Verwendung als Metadatum) im Publikationsserver einschließen müsste.