Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?

Publiziert als / zitieren als:
Herb, U. (2018). Zwangsehen und Bastarde. Information – Wissenschaft & Praxis, 69(2-3), S. 81-88. DOI:10.1515/iwp-2018-0021

Zusammenfassung

Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?
Availabe in Public Domain from https://secure.flickr.com/photos/usnationalarchives/7136354613/

Taucht das Wort „Wissenschaft“ im Zusammenhang mit Big Data auf, denkt man zumeist an Wissenschaftler, die durch findige Analysen treffsichere Prognosen über zukünftige Entwicklungen, Ereignisse und Handlungen fällen – oder aber mit chirurgischer Präzision Verhalten beeinflussen, wie etwa vom erfolgreichen Wahlkampf Donald Trumps kolportiert. Allerdings sind Wissenschaftler längst nicht mehr nur Agenten in Big-Data-Szenarien, sondern auch Objekte. Die Vermessung der Wissenschaft erfolgt heute nicht allein anhand simpler Zitationszählungen oder erwirtschafteter Projektgelder: Kommerzielle Akteure schicken sich an, ein ganzes Betriebssystem inklusive integrierter Werkzeuge zu schaffen, das unablässig Verhalten von Wissenschaftlern und Performanz von Wissenschaft protokolliert. Der Beitrag illustriert am Wandel des früheren Verlagshauses Elsevier zum Research Intelligence Provider exemplarisch, wie Wissenschaft selbst in den Fokus von Big Data gerät und wie eine Big-Data-gesteuerte Wissenschaft aussehen könnte.

Wissenschaftsbewertung in alter Manier

Die Bewertung von Wissenschaft erfolgt anhand von Event Logging, worunter der Autor im Folgenden zwei Arten von Informationssammlung versteht:

  1. Die Protokollierung der (digitalen) Spuren, die Personen oder Werke/ Informationen, die von ihnen geschaffen wurden, hinterlassen.
  2. Die Protokollierung der Referenzen/ Reaktionen auf diese Personen bzw. deren Werke/ Informationen.

Dass Wissenschaftler durch Event Logging bewertet werden, ist nichts Neues: Schon immer zog man bibliometrische Informationen heran, wenn es um die Einschätzung der Leistung eines Wissenschaftlers ging. Sei es, dass diese durch eigenes Verhalten (im Sinne von a) produziert wurden (z. B. wenn die Zahl der Publikationen erhoben wurde), sei es, dass diese durch reaktives Verhalten anderer (b) produziert wurden (z. B. durch Zitationen auf Publikationen). Daher sind die im Folgenden dargestellten Neigungen zur Steuerung von Wissenschaft nichts völlig Unbekanntes, neu hingegen sind die Möglichkeiten, Informationen zu produzierten und genutzten Informationen über eine Vielzahl von Datentypen und -quellen zu sammeln und zu kombinieren, so dass produzierte Texte eine nur noch untergeordnete Rolle spielen.

Vom Verlag zum Research Intelligence Provider

Zur Illustration dieses Wandels bietet sich die Beschreibung der Metamorphose des Verlags Elsevier zum Research Intelligence Dienstleister (Elsevier, 2018e) an, spiegelt dessen strategische Umgestaltung die neuen Möglichkeiten der Protokollierung und Steuerung von Wissenschaft doch nahezu idealtypisch wider.

Verlagsgeschäft (1880)

Der Informationsanbieter Elsevier wurde im Jahr 1880 als Verlag gegründet, das Geschäftsmodell bestand im Verkauf und Vertrieb wissenschaftlicher Publikationen. Im Februar 2018 legt man 2.971 wissenschaftliche Zeitschriften auf. Laut Outsell Report war Elsevier 2013/2014 mit 2.525 Journalen der Verlag, der nach Springer (inkl. BioMed Central, BMC) die zweitmeisten Zeitschriften publizierte (Outsell, 2015, S. 16), Springer und BMC kamen zusammen auf 2.984 Journale.

Geschäftsfeld Bibliometrie (2004)

Spätestens seit 2004 ist Elsevier nicht mehr nur ein Verlag, denn in diesem Jahr brachte man die Datenbank Scopus auf den Markt. Scopus ist eine Recherche- und Zitationsdatenbank und folglich ist für Herausgeber und Verlage eine Indexierung ihrer Journale in Scopus attraktiv: Allein schon die Aufnahme einer Zeitschrift in eine Recherche-Datenbank wird als Gütekriterium wahrgenommen. Dies gilt noch viel mehr, wenn diese Datenbank Auskunft über den Impact, die meist – und umstrittener Weise – als Qualität interpretierte quantitative und durch Zitationszählungen ermittelte Resonanz einer Publikation gibt. Aus der Perspektive des Scopus-Anbieters bedeutet dies, dass fremde Verlage ihm Content geradezu zur Auswertung aufdrängen und Elsevier selbst Daten über das Geflecht wissenschaftlicher Informationen nicht nur als Zitationsdatenbank teuer verkaufen, sondern auch für eigene Zwecke auswerten kann. Mit Scopus erschuf Elsevier, neben der eigenen Verlagsdatenbank ScienceDirect, einen zweiten Datenpool, gefüllt mit Informationen fremder Anbieter, gespickt mit Daten über die Kommunikation in wissenschaftlichen Journalen und mit Meta-Informationen dazu wer (als Person oder Organisation) wieviel, mit wem, worüber publiziert und wer wie häufig von wem zitiert wird.

Geschäftsfeld Benchmarking (2009)

2009 schuf Elsevier mit SciVal ein weiteres, ganz neuartiges Angebot, das weder der Recherche nach Publikationen noch nach Zitationszahlen dient, sondern vielmehr dem Benchmarking von Wissenschaftseinrichtungen. Wir werden später auf diesen Dienst zurückkommen.

Geschäftsfeld Forschungsinformation (2012)

Die Entwicklung weg vom traditionellen Verlagsgeschäft wurde immer offensichtlicher als man 2012 den Anbieter Atira und dessen Forschungsinformationssystem PURE erwarb. Forschungsinformationssysteme dienen nach außen der Darstellung der Leistungsfähigkeit einer Einrichtung, intern zu Benchmarking und Protokollierung der Forschungsleistung dieser. Unter anderem werden solche Systeme üblicher Weise mit Projektdaten, Finanzdaten, Publikationsinformation und Impactziffern gespeist.

Geschäftsfeld Reference Management (2013)

2013 hielt die Shopping Tour Elseviers weiter an und man erwarb die Literaturverwaltung Mendeley. Mendeley dient, vergleichbar den Tools Endnote, Zotero, Citavi, Refworks, der Verwaltung wissenschaftlicher Literatur und hat darüber hinaus eine Social-Network-Komponente zur Kontaktpflege mit Fachkollegen. Literaturverwaltungswerkzeuge erleichtern die Textproduktion und erlauben das bequeme Einfügen von Referenzen in Publikationen. Ob Mendeley dem wirtschaftlich gut aufgestellten Anbieter Elsevier wirklich nennenswerte Einnahmen beschert, mag fraglich erscheinen: Die kostenfreie Endnutzer-Version bietet kaum beachtenswerte Unterschiede zur kostenpflichtigen Variante und auch die Campus-Lizenzen dürften finanziell nicht sonderlich ins Gewicht fallen. Interessanter könnte Mendeley als Datenquelle sein, denn daraus lassen sich Informationen über die Relevanz publizierter Texte gewinnen, die noch zu jung sind, als dass sie hätten zitiert werden können. Weiterhin lässt sich die Relevanz von Texten erfassen, die zwar von großem Interesse zu sein scheinen, da viele Wissenschaftler sie sich in Mendeley merken, die jedoch nicht oder selten zitiert werden (z. B. weil sie eher für die Lehre oder Methodik als die Forschung relevant sind) oder deren Zitationen von klassischen Zitationsdatenbanken nicht erfasst werden, weil die zitierenden Quellen nicht von diesen indexiert sind. Die Möglichkeit, Dokumente in Mendeley als Favorit zu markieren, ermöglicht sogar eine noch exaktere Bewertung deren Inhalts.

Besser noch: Es ließen sich gar Informationen über zukünftige Forschung gewinnen, man müsste dazu nur auslesen, welche Themen in den Bibliotheken der Literaturverwaltungsnutzer gerade Konjunktur haben. Da Mendeley Nutzern auch Online-Profile bietet, sind diese geneigt hier akademischen Status (z. B. Student, Promovierender, Post Doc, Professor), Affiliation und fachliche Zuordnung zu hinterlegen, was noch treffsichere Einschätzungen zu thematischen Moden ermöglicht. Noch feinere Daten fallen an, wenn Mendeley-Nutzer ihren Account mit ihrer Autoren-ID in Scopus verknüpfen.

Geschäftsfeld Medienmonitoring (2015)

2015 kaufte Elsevier den Service Newsflo, der die Wirkung von Wissenschaft, Publikationen und Forschungsergebnissen in Medienberichten analysiert. Der Dienst wertet laut Website (Elsevier, 2018d) 45.000 News Outlets in über 20 Ländern aus (darunter die USA, Indien, China, Brasilien und mehrere europäische Länder) und wirbt mit einer hochpräzisen Suche nach Autoren-IDs und Affiliation durch eine Verbindung mit Scopus. Genauso betont man die Verknüpfung mit:

  • Mendeley zur Bestimmung des gesellschaftlichen Einflusses von Forschung,
  • SciVal zur Visualisierung der Resonanz einer Einrichtung und ihrer Forscher sowie
  • PURE, für das ein Media Showcase mit Live-Feeds existiert, um aggregierte Daten der Presseberichterstattung über Forscher einer Institution zu erhalten und anzuzeigen.

Geschäftsfeld Forschungsdaten-Management (2015)

2015 führte Elsevier schließlich den Forschungsdaten-Dienst Mendeley Data ein. Mendeley Data stellt kostenlosen Speicherplatz zum Ablegen von Forschungsdaten bereit. Naheliegender Weise nutzen manche Elsevier-Journale oder von Elsevier aufgelegte Society Journals (z. B. CELL Press) Mendeley Data, um Artikeln zugrundeliegende Forschungsdaten verfügbar zu machen. Solche mit Publikationen verbundene Datensätze werden auch in ScienceDirect mit dem entsprechenden Artikel nachgewiesen und verlinkt.

Geschäftsfeld Disziplinäre Open Access Repositories (2016)

2016 erstand Elsevier den Open-Access-Dienst Social Science Research Network (SSRN), eine Publikationsplattform für die Sozial- und Geisteswissenschaften, auf der vor allem Preprints und Discussion Papers erscheinen. Der Clou: Man hielt eine Technik in den Händen, die sich auf andere Fachbereiche ausrollen lassen sollte (und die sich perspektivisch als Plattform vermarkten lassen konnte) und hatte Zugriff auf Informationen aus noch nicht formal publizierter Forschung, die also z. B. noch nicht in Scopus oder Mendeley hinterlegt war. Noch weniger als bei Mendeley dürften direkt an SSRN gebundene finanzielle Erwartungen für dessen Kauf gesprochen haben, denn das Publizieren auf SSRN ist nach wie vor entgeltfrei möglich. Das Ausrollen der SSRN-Technik ließ auch nicht lange auf sich warten, noch 2016 startete Elsevier zwei Publikationsdienste für Working Papers aus den Naturwissenschaften, ChemRN und BioRN.

Geschäftsfeld Elektronische Labordaten (2016)

Ebenfalls 2016 erwarb man einen Dienst, der in erster Linie Natur- und Lebenswissenschaftlern nützlich ist: Hivebench. Die Software erlaubt die Verwaltung von Experimenten, Protokollen, Analysen und Daten. Man wirbt mit den Möglichkeiten der umfassenden, konsistenten und strukturierten Datenerfassung mittels Hivebench, das eine einfache und sichere Möglichkeit zur Verwaltung und Aufbewahrung von Protokollen und Forschungsdaten biete (Elsevier, 2018b). Als Anreiz zur Nutzung von Hivebench in Kombination mit anderen Elsevier-Diensten sprechen Komfort und einfache Datenhaltung, exemplarisch werden auf der Website die Integration von Hivebench und Mendeley Data empfohlen, u. a. zur Sicherung der Langzeitarchivierung von Forschungsdaten. Ebenfalls regt man 2018 die integrierte Nutzung von Hivebench und einem institutionellen Open Access Repository an (Elsevier, 2018b). Eine 2016 im Elsevier-Portfolio noch klaffende Lücke, die zu schließen man sich bereits anschickte.

Geschäftsfeld Institutionelle Open Access Repositories (2017)

2017 bediente sich Elsevier nochmals im Open-Access-Segment und übernahm den Repository-Anbieter Bepress. Anders als SSRN, BioRN oder ChemRN, die zentrale fachliche Publikationsserver sind und nicht als Hosting-Lösungen angeboten werden, ist Bepress eine Software, die Forschungseinrichtungen selbst betreiben, um Wissenschaftlern eine Plattform zur Open-Access-Publikation zu bieten. Elsevier (2017a) bewirbt Bepress mit den bekannten Lockmitteln Showcase und Impact: „Campuses can promote faculty and their expertise with scholarly profiles and expert galleries. And administrators can use industry-leading readership analytics to track impact and share it with stakeholders.“ Die Pressemitteilung Elseviers (2017b) anlässlich des Erwerbs von Bepress zitiert Bepress CEO Jean-Gabriel Bankier mit den Worten „Now with Elsevier we’ll be stronger and better by applying more technologies and data and analytics capabilities to help more institutions achieve their research goals.” Ein Kommentar, der vermitteln soll, wie unerlässlich Datenanalysen für eine Wissenschaftseinrichtung sind, die nicht scheitern, sondern ihre Ziele erreichen will. Und auch das Datenvolumen, die Ressource für weitere, noch bessere Analysen, auf die Elsevier nun zugreifen konnte, wird mit „over 2 million articles and 100 million annual downloads” beziffert (Elsevier, 2017b).

Geschäftsfeld Altmetrics (2017)

Im Februar 2017 akquirierte Elsevier schließlich den Altmetrics-Anbieter PLUM Analytics, dessen Service PLUM X, wie andere Altmetrics-Dienste auch, Impact wissenschaftlicher Objekte zu erfassen sucht, der sich nicht (nur) in Zitationen manifestiert, sondern z. B. in der Anzahl der Tweets, der Likes, des Vorkommens in Mendeley-Bibliotheken. PLUM X unterscheidet sich von vergleichbaren Angeboten wie Impactstory oder Altmetrics.com durch den offenkundig kompetitiven Anspruch und seine Benchmarking-Funktionalitäten (Herb, 2016, S. 398) und bringt eine Fülle an Informationen über die Verbreitung wissenschaftlicher Objekte in Social Media, Nachrichten, Literaturverwaltungssystemen und einer Vielzahl anderer Kommunikationskanäle wissenschaftlicher wie nicht-wissenschaftlicher Natur mit sich. Die Liste der Objektarten (oder in der PLUM-Terminologie: Artefakte), die PLUM X trackt (1) , umfasst derzeit 67 Typen, unter anderem auch Audio-Dateien, Blogs, Broschüren, Software Code, Datensätze, Designs, Expertenmeinungen, Regierungsdokumente (2) (PLUM Analytics, 2018).

Vom Verlag zum Betriebssystem

Allein diese, nicht abschließende Liste der Angebote Elseviers (3) zeigt: Elsevier hat ein Betriebssystem mit hoch-integrierten Diensten erschaffen, das ein Wissenschaftler in jeder Arbeitsphase nutzen kann. Man tauscht sich mit seinen Kontakten in Mendeley aus, dort sammelt und verwaltet man zugleich seine Literatur. Preprints oder andere Dokumente stellt man in SSRN-ähnliche Repositories ein, die (wie bei SSRN teils der Fall) mit einschlägigen Journalen gekoppelt sind (4 ), oder auf einen lokalen Bepress-Server. Artikel erscheinen in Elsevier-Journalen, die in ScienceDirect nachgewiesen werden und deren Zitationen in Scopus erfasst sind. Wird eine wissenschaftliche Leistung dann bewertet, gehen darin Informationen aus Scopus und PLUM X ein. Sogar Herausgeber eines nicht bei Elsevier erscheinenden Journals bemühen sich darum, dass dieses in Scopus indexiert oder via PLUM X ausgewertet wird. Forschungsdaten verwaltet man mit Hivebench und publiziert sie mit Mendeley Data, ihr Impact wird mittels PLUM X erfasst. Literatur, Forschungsdaten und Forschungsinformationen verwalten, teilen, publizieren, indexieren, analysieren, bewerten und jede dieser Tätigkeiten verkaufen – das alles bietet Elsevier. Die Resonanz und Bewertung der Forschung innerhalb der Wissenschaft messen Scopus und PLUM X, außerhalb der Wissenschaft erledigt dies Newsflo. Allerdings, man ahnt es, muss man das System nicht nur nicht verlassen, man kann es nicht umgehen und seine Apps nicht ignorieren.

Googleisierung?

Wer nun angesichts Elseviers beeindruckender Datensammlung auf den Vergleich mit Google verfällt, sei beunruhigt. Jedermann kann Googles Sammeleifer (durch Verlust auf Komfort) einigermaßen entgehen und alternative, starken Wert auf Privatsphäre setzende Suchmaschinen wie DuckDuckgo nutzen oder auf ein Android-Smartphone und GoogleMail verzichten. Ein Wissenschaftler kann allerdings nicht verhindern, dass ein Dienstanbieter wie Elsevier ihn ausmisst: Selbst wer nicht in Elsevier-Journalen publizieren will, wird nicht verhindern können, dass seine Artikel in Scopus indiziert werden – besser noch: Er wird, sogar als etwaiger Anhänger eines der vielen Elsevier-Boykotte, die Indizierung in Scopus begrüßen, ist diese doch allein schon ein Zeichen von Reputation. Überdies erlaubt diese Indexierung, dass der Zitationsimpact (als
vermeintlicher Qualitätsindikator) für seine Publikationen ermittelt wird und die Datenbank einen Hirsch-Index für ihn ermitteln kann. Und sowieso: Sind die Publikationen erst einmal in der Welt, werden sie in einem der Elsevier-Dienste früher oder später wie von selbst Spuren hinterlassen: Etwa, wenn Leser sie in ihre Mendeley-Bibliotheken speichern oder sie in einer der vielen Datenquellen des Altmetrics-Dienstes PLUM X erwähnen. Und wer sich als Wissenschaftler ehedem gegen die Nutzung der Literaturverwaltung Endnote entschloss, weil er seine Daten partout nicht dem Elsevier-Konkurrenten und Endnote-Anbieter Thomson Scientific anvertrauen wollte (5) , sondern sich für Mendeley entschied, musste sich (wie der Autor dieses Artikels) eingestehen, dass alle gutgemeinten Überlegungen und die Nutzung innovativer Software kleiner Anbieter angesichts Elseviers geschickter Akquise-Strategie irgendwann obsolet sind. Derartiger Fatalismus dürfte sich genauso unter Hochschulen verbreitet haben, die sich aus ähnlichem Dafürhalten gegen die Nutzung des Forschungsinformationssystems CONVERIS, ebenfalls eines Produktes von Thomson Scientific (6) , aussprachen und lieber auf das später von Elsevier gekaufte System PURE setzten. Schlimmer noch dürfte es die Open-Access-Community getroffen haben, die den Dienst SSRN und zahlreiche Bepress-Server bewarb und aktiv nutzte, um den nicht-kommerziellen Zugang zu wissenschaftlichen Informationen zu fördern – nur um eines Tages verdutzt festzustellen, dass man jahrelang sehr eifrig Content-Akquise für Elsevier betrieben hatte (7). Man darf jedoch keinesfalls vergessen, was geschieht, wenn die Kapitalrendite aus den bereitgestellten Diensten hinter den Erwartungen der kommerziellen Anbieter zurückbleibt: Elsevier etwa stellte seine als „most comprehensive scientific research tool on the web“ (Elsevier, 2013) angepriesene Suchmaschine Scirus 2014 klammheimlich ein (8). Dies verweist auf ein leider wenig diskutiertes Problem, das an dieser Stelle nur kurz angesprochen sei: Die Ökonomisierung der Wissenschaft hat längst die Kuratierung wissenschaftlicher Informationen erreicht (Haider, 2018, S. 25 f.). So nennt der Report „Open innovation, open science, open to the world – a vision for Europe“ der European Commission (2016, S. 50) Elsevier, Springer Nature und dessen Tochter Digital Science, Google und Wikimedia als Verwalter wissenschaftlicher Informationen. Eine Vorstellung, die angesichts der Scirus-Malaise als riskant betrachtet werden könnte.

Der König ist tot, es lebe der König: Data is King

Elsevier hat offensichtlich die Zeichen der Zeit früher erkannt und besser gedeutet als andere Anbieter, wie z. B. Wiley oder Springer Nature, die dem Motto Content is King verhaftet scheinen, und versteht sich lange nicht mehr als Verlag, sondern als „Global Information Analytics Company“ (Elsevier, 2018a). Diese Neuausrichtung der Geschäftsstrategie erklärt sicher teilweise Elseviers bislang hartnäckige Weigerung, ein landesweites Deutschland-Konsortium mit dem Projekt DEAL einzugehen. Erklärte Dienstleistung Elseviers sind „Information analytics“ und damit längst nicht mehr der Vertrieb und Verkauf wissenschaftlicher Publikationen. Die Mission lautet nun: „Uniting content and technology to serve the science, technology and health communities” (Elsevier, 2018c). Die systematische Aufbereitung der in den oben erwähnten Services gesammelten Daten leistet in erster Linie das Angebot SciVal. Schon jetzt erweisen sich dessen Funktionalitäten als – je nach Sichtweise – verführerisch oder gefährlich: Für das Benchmarking sowie für Empfehlungen der Ausrichtung zukünftiger Forschung können zahlreiche Parameter ausgewertet und vielfältige Aussagen getroffen werden. Elsevier macht Einrichtungen SciVal unter anderem durch folgende Funktionen schmackhaft (Elsevier, 2018 f):

  • „Create and select research entities: Test scenarios by modeling any Research Areas or groups such as newly evolving interdisciplinary Research Areas, groups of researchers to apply for a large-scale grant program, and departmental renovations.”
  • „Select metrics: Select and combine any set of metrics to measure an institution’s or a country’s productivity, citation impact, collaboration, subject disciplinarity, visibility and more.”
  • „Access comprehensive research performance summaries of any desired research entities, identify their unique research strengths and multidisciplinary Research Areas.”
  • „Compare the performance of any institutions, countries, and pre-defined groups, or create your own research area and monitor progress over time.”
  • „Develop collaborative partnerships: Identify and analyze existing and potential collaboration opportunities based on publication output and citation impact.”
  • „Analyze research trends: Analyze the research trends of any Research Area with citation and usage data, to discover the top performers and rising stars.”

Auch die Weiterentwicklung SciVals wird skizziert (Elsevier, 2018g): „We are expanding SciVal from being a purely evaluative and analytical tool to being an integral part of your research planning process”. SciVal soll, das belegt dieses Statement (genau wie die obige Liste seiner Features,) eine Planungsinstanz mit Eigenschaften der Predicitve Analysis sein: „You are now able to run a complete portfolio analysis to see which Topics your institution is currently active in, and which Topics have high momentum, those therefore more likely to be well-funded. It will provide insight into which researchers are active in those Topics, which Topics your peers and competitors are active in and the related Topics of which you should be aware.” (Elsevier, 2018g).

Na und?

Ein Angebot wie SciVal kann als Werkzeug verstanden werden, das, in Zeiten knapper Mittel und der Vorstellung von Hochschulen als Unternehmen, Mittel und Personal ökonomisch einzusetzen hilft. Diese Ökonomisierung ist hinreichender Kritik, die hier nicht rekapituliert werden soll, ausgesetzt. Dass Elsevier diese Randbedingungen nutzt, um Angebote zu entwickeln, zu kaufen und zu vermarkten, ist nicht zu kritisieren, denn die RELX-Gruppe als Mutterkonzern Elseviers muss als Wirtschaftsunternehmen das erklärte Ziel haben, möglichst viel Geld zu verdienen (9). Auch die Nutzung der bereitstehenden Daten zum Monitoring und zur Steuerung von Wissenschaft ist kein Alleinstellungsmerkmal Elseviers, denn etwas später verfiel beispielsweise auch Springer Nature auf die Idee, ähnliche Dienstleistungen anzubieten. Springer Nature kennt mit dem SciGraph ein Angebot, das SciVal ähnelt. Man beschreibt SciGraph als: „…our Linked Open Data offering which aggregates data sources from Springer Nature and key partners from the scholarly domain. The Linked Open Data platform collates information from across the research landscape, for example funders, research projects, conferences, affiliations and publications“(Springer Nature, 2018). Auch SciGraph wird mit dirigistischen Funktionalitäten beworben: „Funders, librarians, conference organizers find optimal data for analysis and recommendation tools” (Springer Nature, 2018). Zwar stehen die SciGraph-Daten unter der Creative-Commons-Lizenz CC-BY und als Linked Open Data bereit, die faktische Verwendbarkeit dieser RDF-Daten jedoch erfordert Einiges an Know-how, so dass die Hoheit über die Auswertung weitgehend bei Springer Nature liegen dürfte. Zugleich könnte unter dem Vorzeichen einer derart liberalen Lizenzierung die Open Science Community sogar gegebenenfalls als Beiträger für den Daten-Corpus gewonnen werden. Die Entwicklung von kostenpflichtigen Mehrwertdiensten, wie bei SciVal, wird – so viel kann man vermuten – erst durch die Anreicherung mit nicht-offenen Daten attraktiv. Gleichviel: Es bleibt festzuhalten, dass weder Elsevier noch Springer Nature dafür verurteilt werden können, Geld mit Diensten zu verdienen, nach denen der „Mode 2“ der Hochschulentwicklung giert: Man bedient einen Markt.

Wissenschaft als Zuchtbetrieb

Was jedoch einer Reflektion bedarf, sind die Folgen dieser Art der datengetriebenen Organisation von Wissenschaft. Die aus Big-Data-Analysen gewonnen Schlüsse und Empfehlungen haben, genauer betrachtet, beachtenswerte Implikationen und zwar gleichermaßen innerhalb wie außerhalb der Wissenschaft (Bendel, 2018): So ergeben sich, in einem System wie dem geschilderten, umfassende Fragen nach Datenschutz und Persönlichkeitsrechten. Die heute mögliche, in unvorhersehbarer Weise exakte Identifikation (10) eines einzelnen Wissenschaftlers in all seinen beruflichen Schattierungen und Aktivitäten erlauben zudem eine umfassende Kontrolle, ein unaufhörliches Benchmarking und ein anhaltendes Bewerten der Forschung z. B. hinsichtlich der Berücksichtigung ihrer Anschlussfähigkeit an die (internationalen) Trends. Dies wiederum dürfte zahlreiche Reaktanzen auslösen, so eine aus Befürchtung vor negativer Sanktionierung erfolgende Wahl von Forschungsthemen, Kooperations- und Projektpartnern oder Ko-Autoren und damit zur „digitale[r] Bevormundung“ sowie zur Aufgabe „informationelle[r] Autonomie“ (Bendel, 2018) führen.
Wohin aber könnte uns eine derart auf daten-basierten Empfehlungen beruhende Wissenschaftssteuerung führen? Es drängen sich zwei Metaphern auf, um solche Szenarien zu beschreiben. Eine betriebswirtschaftliche Metapher, durchsetzt mit dem Jargon der Kalkulation und Effizienz, in Gestalt berechneter Kooperationen mit prognostizierten Drittmittel-Einnahmen und empfohlenen Partnerschaften mit erwirtschafteten Renditen in Form von Impact-Raten sowie Exzellenz-Attributen. Ein Szenario, das neben den Gewinnern selbstredend Verlierer braucht, weswegen das Moment des Wettbewerbs nicht fehlen darf: „Showcasing research is critical as competition increases among institutions to secure funding and attract faculty and students“ verlautbarte Elsevier anlässlich der Bepress-Akquise (Elsevier, 2017b). Der Nutzen des Dienstes PLUM X wurde (vor dem Kauf durch Elsevier) folgerichtig mit Worten, die weniger an Wissenschaft als öffentliches Gut gemahnen, sondern an Wissenschaft als darwinistischen Überlebenskampf, geschildert: „Arm your researchers to compete for funding“ hieß es 2016 (nach Herb, 2016, S. 398). Auch 2018 wohnt der Verkaufsargumentation eine militärische Konnotation inne, denn Festlegungen müssen strategisch sein: „….we will show you how to get the most out of Topic Prominence in Science and utilize it in the development and execution of your research strategy“ (Elsevier, 2018g). Andere Ausführungen auf der früheren PLUM X Website, „Determine who should apply for grants“ und „Find collaboration partners“ (Plum Analytics, 2016), verwiesen auf die zweite Metapher, die biologische der Auswahl und Zucht. Diese findet sich, wie erwähnt, auch in den werbenden Beschreibungen zu SciVal (Elsevier, 2018f), wenn es heißt: “Identify and analyze (…) potential collaboration opportunities based on publication output and citation impact” bzw. “Test scenarios by modeling (…) groups of researchers to apply for a large-scale grant program” (11). Bestimmte Entscheidungen, z. B. welcher Forscher sich in Kooperation mit andern Forschern um Drittmittel einer Förderorganisation bemüht, sollen nicht mehr so ohne Weiteres alleine dem Forscher selbst überlassen sein, sondern mit Hilfe der Daten eines Research Intelligence Anbieters getroffen werden. Ähnlich sollen Kooperationen nicht mehr basierend auf Einschätzungen und Expertisen der Wissenschaftler zustande kommen, sondern gezielt nach Effektivitäts – und Rentabilitätskriterien ausgerichtet werden. Eine Vorstellung, die (bislang?) eher an Zuchtprogramme („Determine who should apply for grants“ / „modeling (…) groups (…) to apply for a large-scale grant program“) oder Zwangsehen („Find collaboration partners“ / „Identify (…) potential collaboration opportunities“), denn an freie Wissenschaft denken lässt.

Wer diese Assoziationen weitertreibt, gelangt unweigerlich und sehr schnell zu sehr skurrilen bis unschönen Vorstellungen von Designer-Babys, Inzucht, Degeneration und Sterilität bis hin zu nicht von Wissenschaftspartnervermittlungen (12) bewilligten wilden Ehen zwischen Forscherteams, die man mag es kaum schreiben, Projektbastarde hervorbringen. So deftig, so düster: Denn eine Wissenschaft deren Protokollierung und Steuerung sich immer weiter vorantreiben und deren Entwicklung durch herbeikalkulierte Kooperationen und Selektionen immer geplanter wird, perfektioniert sich am Ende womöglich zu Tode. Schließlich lehrt uns die Evolution, dass jeder Verbesserung und jedem Selektionsvorteil eine Abweichung vom genetischen Plan, eine Mutation, ein Regelbruch, kurzum: ein Fehler vorhergehen muss. Allesamt Phänomene, die eine ausgefeilte Research Intelligence zu eliminieren verspricht.

Endnoten

(1) Tracken kann hier bedeuten, dass a) für diese Objekte (z. B. Code) Impact-Werte ermittelt werden, dass b) für diese und aus diesen Objekten (z. B. Artikel) Impact-Werte ermittelt werden oder dass c) aus diesen Objekten (z. B. Nachrichtenmeldungen) Impact-Werte ermittelt werden.
(2) Hier zeigt sich ein spezieller Wert für Thinktanks.
(3) Eine umfassende, wenn auch nicht vollständige Liste findet sich unter: https://www.elsevier.com/solutions [27.2.2018]. Unter anderem fehlt an dieser Stelle PLUM X.
(4) Hier, wie auch anderen Stellen böten sich förmlich strategische Auswertungen an, von denen man nicht in jedem Fall sicher sagen kann, dass sie angewandt werden: Erreichen die Preprints hohe Downloadzahlen oder Altmetrics-Werte, könnten diese für ein einschlägiges Journal vorgeschlagen werden. Schließlich deuten hohe Download- und Altmetrics-Werte oft auf hohe Zitationszahlen hin (Herb, 2015, S. 207–223).
(5) Endote wird heute von Clarivate Analytics angeboten.
(6) CONVERIS wird heute von Clarivate Analytics angeboten.
(7) Auch hier war der Autor dieses Textes betroffen, der zwar Unterzeichner des Elsevier-Boykotts The Cost of Knowledge ist, von dem allerdings dennoch ein Preprint auf SSRN zu finden ist, wenn auch publiziert vor dem Kauf durch Elsevier.
(8) Mein ausdrücklicher Dank gebührt Jürgen Plieninger für den Hinweis auf diese Volte.
(9) Elsevier erwirtschaftet seit Jahren regelmäßig Gewinne von zwischen 30 und 40 Prozent, im Jahr 2016 beliefen sich die Einnahmen auf 2,478 Milliarden £, der bereinigte operative Gewinn 0,913 Milliarden £ oder 36,8 Prozent (RELX Group, 2018, S. 17).
(10) RELX erwarb übrigens im Januar 2018 den Dienst Threatmetrix, dessen Spezialität die Analyse von Verbindungen zwischen Geräten, von Standorten und von anonymisierten Identitätsinformationen ist (Lunden, 2018).
(11) Wobei diese dirigistische Komponente der betriebswirtschaftlichen implizit zuwiderläuft.
(12) Die Partnervermittlung ElitePartner trägt bereits einen passenden Namen und könnte womöglich Dienstleistungen der Beziehungs-/Kooperationsanbahnung für Hochschulen anbieten.

Literatur

Bendel, O. (2018). Big Data. In Gablers Wirtschaftslexikon. Springer Gabler.
https://wirtschaftslexikon.gabler.de/definition/big-data-54101/version-206361  [27.2.2018].

Elsevier. (2013). Scirus Homepage.
http://web.archive.org/web/20130217135017/http://www.scirus.com/ [27.2.2018].

Elsevier. (2017a). Bepress and Elsevier – an update.
https://www.elsevier.com/connect/bepress-and-elsevier-an-update [27.2.2018].

Elsevier. (2017b). Elsevier acquires bepress, a leading service provider used by academic institutions to showcase their research.
https://www.elsevier.com/about/press-releases/corporate/elsevier-acquires-bepress,-a-leading-service-provider-used-by-academic-institutions-to-showcase-their-research [27.2.2018].

Elsevier. (2018a). Elsevier | An Information Analytics Business | Empowering Knowledge. https://www.elsevier.com/ [27.2.2018].

Elsevier. (2018b). Hivebench | Electronic Laboratory Notebook (ELN) designed for biology research workflows.
https://www.elsevier.com/solutions/hivebench [27.2.2018].

Elsevier. (2018c). Information analytics: Uniting content and technology to serve the science, technology and health communities.
https://www.elsevier.com/connect/information-analytics-uniting-content-and-technology-to-serve-the-science-technology-and-health-communities [27.2.2018].

Elsevier. (2018d). Newsflo | Measures an academic’s societal impact.
https://www.elsevier.com/solutions/newsflo [27.2.2018].

Elsevier. (2018e). Research Intelligence | Reliable Data and Information | Elsevier. https://www.elsevier.com/research-intelligence [27.2.2018].

Elsevier. (2018f). SciVal Features.
https://www.elsevier.com/solutions/scival/features [27.2.2018].

Elsevier. (2018g). Topic Prominence in Science.
https://www.elsevier.com/solutions/scival/releases/topic-prominence-in-science [27.2.2018].

European Commission. (2016). Open innovation, open science, open to the world – a vision for Europe.
http://doi.org/10.2777/061652 [27.2.2018].

Haider, J. (2018). Openness as Tool for Acceleration and Measurement: Reflections on Problem Representations Underpinning Open Access and Open Science. In U. Herb & J. Schöpfel (Hrsg.),Open Divide? Critical Studies on Open Access (S. 17–30). Sacramento, USA: Litwin Books. https://lup.lub.lu.se/search/publication/070c067e-5675-455e-a4b2-81f82b6c75a7 [27.2.2018].

Herb, U. (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie. Glückstadt, Germany: Verlag Werner Hülsbusch.
http://doi.org/10.5281/zenodo.31234 [27.2.2018].

Herb, U. (2016). Altmetrics zwischen Revolution und Dienstleistung: Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS.
https://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35
DOI:10.15203/3122-56-24 [27.2.2018].

Lunden, I. (2018). Relx acquires ThreatMetrix for $817M to ramp up in risk-based authentication. TechCrunch (29.01.2018)
https://techcrunch.com/2018/01/29/relx-threatmetrix-risk-authentication-lexisnexis/ [27.2.2018].

Outsell. (2015). Open Access 2015: Market Size, Share, Forecast, and Trends.
http://esac-initiative.org/outsell-media-business-report-on-open-access-observes-lack-of-robust-infrastructure-for-oa/ [27.2.2018].

Plum Analytics. (2016). PlumX +Grants.
http://plumanalytics.com/products/plumx-grants/ [03.2.2016].

PLUM Analytics. (2018). About Artifacts – Plum Analytics.
https://plumanalytics.com/learn/about-artifacts/ [27.2.2018].

RELX Group. (2018). Annual Reports and Financial Statements 2017.
https://www.relx.com/~/media/Files/R/RELX-Group/documents/reports/annual-reports/relx2017-annual-report.pdf [27.2.2018].

Springer Nature. (2018). SciGraph | For Researchers.
https://www.springernature.com/de/researchers/scigraph [27.2.2018].

 

Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Whistleblowing & die Wissenschaft

Stefan Heßbrüggen hat eine interessante Petition gestartet, die sich gegen die Erschwernis und Reglementierung des akademischen Whistleblowings richtet. Ein Blogpost des Initiators findet sich bei hypothesis.org. Anlass ist eine Empfehlung der Hochschulrektorenkonferenz HRK, dort heißt es: „Zum Schutz der Hinweisgeber (Whistle Blower) und der Betroffenen unterliegt die Arbeit der Ombudspersonen höchster Vertraulichkeit. Die Vertraulichkeit ist nicht gegeben, wenn sich der Hinweisgeber mit seinem Verdacht an die Öffentlichkeit wendet. In diesem Fall verstößt er regelmäßig selbst gegen die Regeln der guten wissenschaftlichen Praxis. Dies ist auch bei leichtfertigem Umgang mit Vorwürfen wissenschaftlichen Fehlverhaltens der Fall sowie bei der Erhebung bewusst unrichtiger Vorwürfe“. Ulrike Beisiegel, Vizepräsidentin der HRK, hat zu diesem Thema bereits am 11. Juni ein Interview gegeben, das mich nicht von der vorgeschlagenen Strategie überzeugen konnte. Diese Empfehlung der HRK, so ist zu vermuten, wird auch als Ergänzung in die Empfehlungen zur Sicherung guter wissenschaftlicher Praxis der Deutschen Forschungsgemeinschaft DFG eingehen, eine entsprechende Information seitens der DFG wird heute anläßlich ihrer Jahrespressekonferenz erwartet.  Übernimmt die DFG diese Empfehlungen, so vemutet Heßbrüggen, entfaltet dies normative Ausstrahlung auf lokale Hochschulordnungen, in welche die Vorgaben im Wesentlichen übernommen werden dürften. Ich gebe Heßbrüggen Recht, wenn er HRK und DFG eine vereinfachte und weitgehend unzutreffende Vorstellung von Whistleblowing unterstellt, er zitiert in diesem Zusammenhang DFG-Justitiarin Kirsten Hüttemann, die auf academics.de eher emotionale Gründe für Whistleblowing ausmacht, sie benennt diese als Ausdruck von Unstimmigkeit, Querulanz und Konkurrenzdenken. Auch hier teile ich Heßbrüggens eher phänomenologische Sicht: Wenn eine Täuschung aufgedeckt wird, ist es mir gleich, ob die Motivation des Whistleblowers wissenschaftlich rational oder emotional war. Auch die, im Statement Hüttemanns anklingende, Psychologisierung des Whistleblowing erinnert leider an eine in der Politik verbreitete rhetorische Strategie, strukturelle Probleme (hier: Fehlverhalten in der Wissenschaft), derer man nicht Herr wird, durch Reduktion auf Idiosynkrasien zu banalisieren. Schärfer beschreibt Gerhard Fröhlich (Universität Linz) diesen Reflex in seinem Artikel Plagiate und unethische Autorenschaften bezugnehmend auf ein konkretes Ereignis: „Wichtig ist an diesem Fall – wie bei so vielen anderen – nicht die Person des Fälschers oder Plagiators, sondern das offenkundige Versagen der wissenschaftlichen Institutionen und ihr Unwillen, eindeutig nachgewiesene Plagiate bzw. Fälschungen bekanntzugeben, sondern sie als ‚persönliches Problem‘ zwischen dem Plagiator und dem Aufdecker sozialpsychologisch herunterzuspielen.“

Die Empfehlung der HRK mag der Angst geschuldet sein, Verleumdung könne in der Wissenschaft um sich greifen. Dieser empfundenen Gefahr will man offensichtlich entgegen treten, indem Informationen über wissenschaftliches Fehlverhalten monopolistisch von Ombudsleuten verfolgt werden sollen bis die Vorwürfe untersucht und beurteilt werden konnten. Vielleicht trägt die Empfehlung allerdings auch uneingestanden die Befürchtung in sich, nicht fälschlicherweise vorgetragene, verleumderische Manipulationsvorwürfe könnten das Wissenschaftssystem diskreditieren, sondern eine Flut sich bewahrheitender Anschuldigungen könnte es in Verruf bringen. Um dem letzten Verdacht zu entgehen, hilft aber nur ein offeneres Verfahren, das Willen zur Transparenz zeigt und nicht, wie im Falle der HRK-Empfehlungen, dem Whistleblower mit Sanktion droht und ihm (s.o. obiges Zitat aus den Empfehlungen) einen Verstoß gegen die Regeln guter wissenschaftlicher Praxis unterstellt – denn diese Strategie immunisiert Wissenschaftler, die unethische Praktiken verfolgen.

Folglich stimme ich Heßbrüggens Argumentation weitgehend zu, vor etwas mehr als einem Jahr habe ich bereits in einem Interview eine Art WikiLeaks für Wissenschaftler gefordert. Wie das System der Ombudsleute ins Bild passt, ist offen. Ich frage mich, ob Nachwuchswissenschaflter, die z.B. Fälschungen ihres Vorgesetzen, von dem das Zustandekommen ihres nächsten befristeten Vertrages abhängt, berichten wollen, sich immer einem Ombudsmann anvertrauen wollen. Ein Verlust ihrer Anonymität hat für sie, auch wenn ihre Vorwürfe begründet sind, meist katastrophale Folgen (s. dazu auch den Artikel Gerhard Fröhlichs). Vielleicht wäre wirklich ein Postfachsystem wie Wikileaks zeitgemäßer, in dem Whisteblower sich durchaus zu erkennen geben und konkrete Beweise für wissenschaftliches Fehlverhalten dokumentieren sollen. Die Weitergabe der Information an Prüfer (die mehr oder minder analog der Ombudsleute fungieren könnten) müsste hingegen anonym erfolgen – auch wenn diese Verborgenheit in der Überschaubarkeit der Wissenschaft trügerisch sein kann. Jedoch sollte man ein solches System überregional anlegen (um Cliquenwirtschaft zu erschweren) und immer mehr als einen Prüfer vorsehen, um Voreingenommenheiten zu entgegnen und, wie es heute bereits bei Plagiatsplattformen geschieht, ab Beweis des Fehlverhaltens dieses öffentlich dokumentieren. Letzteres auch zum Schutz der Beklagten, die den Vorwürfen öffentlich entgegnen können.

Update: Die DFG hat, wie vermutet, am 04. Juli die Empfehlungen der HRK übernommen, s. dazu die Ergänzung der Empfehlungen der Deutschen Forschungsgemeinschaft zur Sicherung guter wissenschaftlicher Praxis (dort Empfehlung 17) sowie die darauf bezugnehmende Pressemitteilung der DFG. Heßbrüggen ruft unterdessen dazu auf, die Petition weiterhin zu unterstützen, um Widerspruch gegen die HRK-/DFG-Empfehlungen zu dokumentieren.

Zuletzt hier noch

  1. der Link zur Petition: https://www.change.org/de/Petitionen/deutsche-forschungsgemeinschaft-hochschulrektorenkonferenz-preserve-the-freedom-to-publish-findings-of-academic-misconduct-in-germany
  2. die bibliographischen Angaben zum zitierten Artikel:
    Fröhlich, G. (2006). Plagiate und unethische Autorenschaft. Information – Wissenschaft & Praxis, 57(2), 81–89. Online unter http://eprints.rclis.org/7416/1/plagiate.pdf

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Ebenfalls erschienen im Newsletter budrich @cademic (budrich intern) 09/2012

Wer wissenschaftlich publizieren will, wählt den Publikationsort, den Verlag oder die Fachzeitschrift mit Bedacht. Neben inhaltlich-fachlichen Aspekten sind meist Fragen der Qualität des Publikationsortes für die Entscheidung auschlaggebend. Die Qualität wissenschaftlicher Publikationen zu messen ist leider nicht so einfach, wie es auf den ersten Blick scheint. Dennoch blüht in Zeiten von leistungsorientierter Mittelvergabe und Hochschulevaluierungen das Geschäft mit Zitationsinformationen, wird doch weithin angenommen, Zitate wären ein Indikator für die Qualität wissenschaftlicher Leistungen.

 

Zitate und die Qualität wissenschaftlicher Zeitschriften

So wird zum Beispiel vielfach der Journal Impact Factor (JIF) als Kennziffer für die Qualität wissenschaftlicher Zeitschriften interpretiert. Er dividiert die Zahl der Zitate im laufenden Jahr auf Artikel eines Journals der vergangenen zwei Jahre durch die Zahl der Artikel des Journals der vergangenen zwei Jahre. Vereinfacht: Er gibt die Zitationsrate einer Fachzeitschrift innerhalb eines Zweijahresfensters an. Schon das Zeitfenster ist delikat: Der Parameter verhindert einen hohen JIF-Wert für Zeitschriften aus Disziplinen, in denen die Zitationen über viele Jahre recht gleich verteilt sind oder sehr spät ansteigen (wie Sozialwissenschaften, Geisteswissenschaften oder Mathematik) und bevorzugt Zeitschriften aus den Naturwissenschaften und der Medizin, in denen Artikel meist innerhalb kurzer Zeit nach Publikation sehr häufig zitiert werden. Zudem ist die Datenbasis, aus der der JIF berechnet wird, recht willkürlich gestaltet: Zugrunde liegt die Datenbank Journal Citation Reports (JCR), in der längst nicht alle Fachzeitschriften enthalten sind und ausgewertet werden. Schlimmer noch: JCR und JIF schließen komplette Dokumentgattungen, wie Konferenzberichte oder Monographien, aus, auch wenn diese je nach Fach einen höheren Stellenwert für die interne Wissenschaftskommunikation haben als es bei Zeitschriften der Fall ist. Zudem weisen beide einen deutlichen Sprachbias zugunsten englischsprachiger Fachzeitschriften auf, Zeitschriften in anderen Sprachen haben einen niedrigeren JIF, da sie im Sample unterrepräsentiert sind. Zuguterletzt bezieht sich der JIF auf Fachzeitschriften, nicht Artikel: Meist führt aber eine geringe Anzahl sehr häufig zitierter Artikel zu einem hohen Wert für die Zeitschrift, mehrere Studien belegen Verteilungen von 70:30 oder 80:20 zwischen selten und häufig zitierten Artikeln. Dennoch wird bei Evaluierungsverfahren meist nur der JIF-Wert der Fachzeitschriften erfasst und nicht die Häufigkeit, mit der einzelne Artikel eines Wissenschaftlers in einer Zeitschrift zitiert wurden – die erwähnten Verteilungen zwischen viel und selten zitierten Artikeln legen daher den Eindruck nahe, dass man bei einem solchem Vorgehen mit einem eigenen kaum zitierten Artikel von den high-cited Papers weniger Kollegen profitieren dürfte. Vor diesem Hintergrund fällt es überdies schwer zu behaupten eine Fachzeitschrift habe als Ganzes wegen eines hohen JIF-Wertes Qualität, dieser Wert lässt einzig die Aussage zu, dass sie meist wenige Artikel publiziert, die häufig zitiert werden.

Die Folge: Artefakte in der Wissenschaft

Trotz dieser und anderer Mängel ist der JIF eine soziale Tatsache, er beeinflusst Handlungen und Haltungen, vor allem weil er nicht unerheblicher Faktor bei der Evaluierung wissenschaftlicher Leistung ist. Er provoziert damit Verhaltensweisen, die ohne seine Existenz ausblieben, Artefakte, die zudem nicht selten dysfunktionaler Art sind. Informatikern in den USA etwa wird von Fachgesellschaften geraten, in Zukunft in Fachzeitschriften und nicht wie sie es traditionell tun, in Konferenzbänden zu publizieren. Bislang bevorzugen Informatiker Veröffentlichungen in Konferenzbänden, da die Zeitspanne zwischen Einreichung und Publikation in den meisten Fachzeitschriften für ihre schnelllebigen Erkenntnisse zu groß ist. Befolgen sie nun die Vorschläge der Fachgesellschaften, werfen die damit die fachadäquate Publikationskultur über Bord, werden aber bei Evaluierungen besser abschneiden, da Konferenzbände wie erwähnt per definitionem keinen JIF-Wert haben können.

Der Fetisch um den JIF führt, so Alfred Kieser, zur Tonnenideologie der Forschung, die oft einzig auf die Generierung einer möglichst hohen Zahl an Zitationen zielt und dem planwirtschaftlerischen Irrglauben erliegt eine hohe Quantität an Zitation beweise eine hohe Leistungsfähigkeit. Dieser Trugschluss führt zu grotesken Strategien, teils werben Fachbereiche und Hochschulen vielzitierte Wissenschaftler an, um kurzfristig bessere Rankingpositionen oder Evaluierungsergebnisse zu erreichen. Journalherausgeber und Verlage finden auch Gefallen am Frisieren des leicht manipulierbaren JIF, es kursieren wahre Anleitungen mit erstaunlich einfachen Tricks dazu. Da Reviews im Zähler der JIF-Division berücksichtigt werden, nicht aber im Nenner, führt z.B. eine Erhöhung der Anzahl an Reviews unweigerlich zu einem höheren JIF, immer wieder werden Autoren auch dazu angehalten, die publizierende Fachzeitschrift zu zitieren, in manchen Fällen werden sie dafür sogar mit Jahresabos der Zeitschrift belohnt.

Der dominante Akteur im Geschäft mit Zitationsinformationen ist der Konzern Thomson Scientific, der neben den erwähnten Journal Citation Reports (und dem JIF) sowie dem Social Science Citation Index (SSCI) neuerdings auch den Book Citation Index und den Data Citation Index auflegt. In Zeiten leistungsorientierter Mittelvergabe und Hochschulevaluierung steigt das Interesse an Zitationsdaten, dabei wurde nie methodisch sauber evaluiert und belegt, ob Zitationen Qualität ausdrücken und nicht vielleicht eher Popularität oder Relevanz.
Warum macht ein Wissenschaftler eigentlich Karriere?

Von dieser Unschärfe ist aber nicht nur der JIF betroffen, sondern auch andere zitationsbasierte Metriken wie etwa der Hirsch- oder h-Index, dessen Formel wie folgt lautet: Ein Autor hat einen Index h, wenn h von seinen insgesamt N Veröffentlichungen mindestens jeweils h Zitierungen haben und die anderen (N-h) Publikationen weniger als h Zitierungen. Ein Autor hat demnach einen h-Index von 8, wenn er 8 Schriften veröffentlicht hat, die jeweils mindestens 8 Mal zitiert worden sind. Der h-Index ist so etwas wie der Shooting-Star der Impact-Maße, sehen doch nicht wenige in ihm ein Maß für die Qualität eines Forschers und die soll ja unter anderem für Beförderungen maßgeblich sein. Allerdings kamen Jensen, Rouquier und Croissant 2008 zu einem anderen Schluss: Sie untersuchten den statistischen Zusammenhang zwischen den Werten verschiedener zitationsbasierter Metriken (darunter JIF der Fachzeitschriften, in denen man publizierte, h-Index und eine Vielzahl anderer Maße) für einzelne Forscher an der angesehenen französischen Forschungseinrichtung Centre national de la recherche scientifique (CNRS) und der Häufigkeit mit der diese Forscher befördert wurden. Von den untersuchten Verfahren war der h-Index am besten geeignet, Beförderungen am CNRS zu erklären, allerdings nur in 48% der Fälle. Kurzum: Auch das genauste Maß konnte in mehr als der Hälfte der Fälle Beförderungen nicht vorhersagen.

Qualität: Ein mehrdimensionales Konstrukt?

Was bleibt sind viele Fragen: Misst der h-Index doch die Qualität eines Forschers, auch wenn er Beförderungen nicht vorhersagen kann, weil für diese andere Faktoren als die rein wissenschaftliche Qualität ausschlaggebend sind? Oder war für die Beförderungen am CNRS doch Qualität verantwortlich und h-Index, JIF und Co. messen gar keine Qualität, sondern Popularität oder eine völlig andere Dimension? Johan Bollen beschrieb Qualität in der Wissenschaft 2009 als mehrdimensionales Konstrukt, das nicht durch eine einzige Metrik oder Zahl beschrieben werden könne und fügt bezüglich des JIF an, dieser sage wenig über Qualität aus. Wer Qualität messen will, muss dazu demnach ein ganzes Set an Eigenschaften erheben und ausgeklügelt in Relation zueinander setzen. Eine dieser Eigenschaften sind Zitationswerte, auch wenn diese laut Bollen für das Konstrukt Qualität weniger ausschlaggebend sind als andere Eigenschaften. JIF und h-Index hingegen begnügen sich letztlich mit dem „Messen des leicht Messbaren„, wie Gerhard Fröhlich 1999 feststellte. Man könnte noch weitergehen und fragen, ob Qualität nicht zudem individuell definiert wird. Wenn man das tut, müsste auch jeder Leser wissenschaftlicher Literatur in autonomer und souveräner Art für sich entscheiden, welche Texte und Artikel für ihn Qualität haben und welche nicht und dabei nicht auf einen kruden Zitationswert schielen, sondern auf das Urteil von Experten und Kollegen vertrauen – und nicht zuletzt auch auf das eigene.

Literatur:

Bollen, J., Van De Sompel, H., Hagberg, A., & Chute, R. (2009). A principal component analysis of 39 scientific impact measures. PloS one, 4(6), e6022. doi:10.1371/journal.pone.0006022http://www.plosone.org/article/info:doi/10.1371/journal.pone.0006022

Fröhlich, G. (1999). Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In J. Becker & W. Göhring (Eds.), Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft (pp. 27–38). GMD- Forschungszentrum Informationstechnik GmbH. http://eprints.rclis.org/archive/00008982/

Herb, U. (2012). Pimp my Impact Factor. Telepolis, (06.02.2012). http://www.heise.de/tp/blogs/10/151361

Jensen, P., Rouquier, J.-B., & Croissant, Y. (2008). Testing bibliometric indicators by their prediction of scientists promotions. Scientometrics, 78(3), 467–479. http://www.springerlink.com/content/u4467542442h1544doi:10.1007/s11192-007-2014-3

Kieser, A. (2010). Die Tonnenideologie der Forschung. Frankfurter Allgemeine Zeitung, (130), N5. http://www.faz.net/aktuell/feuilleton/forschung-und-lehre/akademische-rankings-die-tonnenideologie-der-forschung-1997844.html

 

Prekäre Exzellenz? Vom Alptraum zum Traumjob Wissenschaft

Knapp ein halbes Jahr nachdem ich für Telepolis ein Interview mit Mathias Neis über „Prekäre Arbeitsbedingungen an deutschen Hochschulen“ führte, fand am 24.10.2011 an der Universität des Saarlandes (UdS) eine Diskussionsrunde mit dem Titel „Prekäre Exzellenz? Vom Alptraum zum Traumjob Wissenschaft“ statt. Organisiert wurde die Veranstaltung von der Kooperationsstelle Wissenschaft und Arbeitswelt (KoWA).

Mathias Neis zeichnete im erwähnten Interiew ein düsteres Bild der wissenschaftlichen Arbeitswelt, die von äußerst unattraktiven Arbeitsbedingungen geprägt ist. Die von Neis geschilderten Phänomene (etwa überdurchschnittlich viele befristete Beschäftigungsverhältnisse, unbezahlte Mehrarbeit und hierarchische Immobilitäten) sind den meisten Wissenschaftlerinnen und Wissenschaftlern wohl vertraut. Kürzlich wurde mir selbst wieder berichtet, dass Lehraufträge an einer Fakultät einer doch sehr reputierten deutschen Hochschule zu 75% unentgeltlich erbracht würden. So irritierend und aufschlussreich solche Informationen sind, sie sind Anekdoten und zur Erarbeitung einer Diskussionsposition taugen sie daher leider nicht. Mathias Neis und andere hingegen erforschen diese Thematik und lieferen so eine valide Diskussionsbasis, fundiert durch empirische Daten. Und empirische Daten spielten auch bei der Saarbrücker Runde eine bedeutende Rolle.

Andreas Keller, aus dem Bundesvorstand der Gewerkerschaft Erziehung und Wissenschaft (GEW), schilderte die Perspektive seiner Gewerkschaft auf die prekären Arbeitsbedingungen in der Wissenschaft und belegte diese mit einigen Statistiken: Zwischen 1997 und 2009 stieg die Zahl der Studierenden um 16,3%, die der Professoren aber nur um 2,8%, die Anzahl der Lehrbeauftragten verdoppelte sich im gleichen Zeitraum annähernd. Keller bemängelte auch den international nahezu einzigartigen Status des wissenschaftlichen Nachwuchses in Deutschland: Wer promoviert ist, aber keine Professorenstelle ergattert, steckt dauerhaft in der Sackgasse des wissenschaftlichen Nachwuchses – gleich wie alt er ist. Entkommen wird er dieser Sackgasse in der Regel nur durch das Ausscheiden aus der Wissenschaft. Nachwuchs an deutschen Hochschulen (Universitäten und FHs) arbeitet in der Regel befristet und so kamen 2009 auf einen unbefristet Beschäftigten neun befristet Beschäftigte, 53% der befristeten Verträge hatten eine Laufzeit von maximal 12 Monaten. Genau wie Neis moniert auch Keller die Chancenungleichheit zwischen den Geschlechtern ab der Promotion: Je näher die Statusposition der C3-/W4-Professur rückt, desto seltener sind auf diesen Positionen Frauen zu finden.

Refomvorschläge finden sich im Templiner Manifest: Es kritisiert die Forderung der Hochschulen nach exzellenter Forschung & Arbeit zu mehr oder minder ausbeuterischen Arbeitsbedingungen und verlangt eine Refomation der Personalstruktur und der Berufswege an Hochschulen. Das Manifest fordert eine bessere Absicherung der Promotionsphase, die Gestaltung verlässlicher Perspektiven für Postdocs, die Schaffung von Daueraufgaben und unbefristeten Beschäftigungsverhältnissen, die Reduzierung prekärer Beschäftigung, tarifvertraglichen Schutz aller Beschäftigungsverhältnisse an Hochschulen (derzeit durch das Wissenschaftszeitvertragsgesetz eingeschränkt) sowie die Ausgleichung der Geschlechterverhältnisse. Für Keller schließen diese Forderungen die Akzeptanz der Doktoranden als Wissenschaftler und nicht als Studierende im dritten Studienabschnitt (nach Bachelor und Master) ein. Zudem kritisierte Keller das Fehlen von Personalentwicklungskonzepten an Hochschulen, diese Konzepte sind in der Privatwirtschaft Usus, an den Hochschulen aber weitgehend unbekannt. Sicher auch ein Grund, warum sich Hochschulen den Luxus leisten, Experten über mehrere Jahre auszubilden, um sie anschließend nicht weiterzubeschäftigen.

Online: Folien zum Workshop Publikationsstrategien an der Fakultät Gesellschaftswissenschaften der Universität Duisburg – Essen

Im Rahmen der Graduiertenförderung in den Gesellschaftswissenschaften an der Universität Duisburg-Essen moderierte ich am 17.06.2011 einen Workshop zum Thema „Publikationsstrategien“, die Folien stehen unter einer Creative Commons Lizenz (CC BY) zum freien Download bereit: Wer mag, kann Sie unter Namensnennung des Urhebers weiterverbreiten, verändern oder anderweitig verwerten. Teilnehmer des Workshops waren Promovierende aus den Fächern Soziologie und Politikwissenschaft. Auf besonderes Interesse stießen die Qualitätssicherung wissenschaftlicher Dokumente, die Wahl des passenden Publikationsortes und erfreulicherweise das Thema Open Access, das (von wenigen lobenswerten Ausnahmen abgesehen) in den Sozialwissenschaften stiefmütterlich behandelt wird: So hat die Deutsche Gesellschaft für Soziologie es bis heute nicht geschafft, die Berliner Erklärung über offenen Zugang zu wissenschaftlichem Wissen zu unterzeichnen – genausowenig wie die Fachgesellschaft für Politikwissenschaft. Ebenfalls mehr als erfreulich: Die Aufgeschlossenheit der Nachwuchswissenschaftler zum offenen Zugang zu Forschungsdaten in den Sozialwissenschaften. Vielleicht legen die Digital Natives doch einen intuitiven Umgang mit immateriellen Gütern an den Tag.