Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?

Publiziert als / zitieren als:
Herb, U. (2018). Zwangsehen und Bastarde. Information – Wissenschaft & Praxis, 69(2-3), S. 81-88. DOI:10.1515/iwp-2018-0021

Zusammenfassung

Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?
Availabe in Public Domain from https://secure.flickr.com/photos/usnationalarchives/7136354613/

Taucht das Wort „Wissenschaft“ im Zusammenhang mit Big Data auf, denkt man zumeist an Wissenschaftler, die durch findige Analysen treffsichere Prognosen über zukünftige Entwicklungen, Ereignisse und Handlungen fällen – oder aber mit chirurgischer Präzision Verhalten beeinflussen, wie etwa vom erfolgreichen Wahlkampf Donald Trumps kolportiert. Allerdings sind Wissenschaftler längst nicht mehr nur Agenten in Big-Data-Szenarien, sondern auch Objekte. Die Vermessung der Wissenschaft erfolgt heute nicht allein anhand simpler Zitationszählungen oder erwirtschafteter Projektgelder: Kommerzielle Akteure schicken sich an, ein ganzes Betriebssystem inklusive integrierter Werkzeuge zu schaffen, das unablässig Verhalten von Wissenschaftlern und Performanz von Wissenschaft protokolliert. Der Beitrag illustriert am Wandel des früheren Verlagshauses Elsevier zum Research Intelligence Provider exemplarisch, wie Wissenschaft selbst in den Fokus von Big Data gerät und wie eine Big-Data-gesteuerte Wissenschaft aussehen könnte.

Wissenschaftsbewertung in alter Manier

Die Bewertung von Wissenschaft erfolgt anhand von Event Logging, worunter der Autor im Folgenden zwei Arten von Informationssammlung versteht:

  1. Die Protokollierung der (digitalen) Spuren, die Personen oder Werke/ Informationen, die von ihnen geschaffen wurden, hinterlassen.
  2. Die Protokollierung der Referenzen/ Reaktionen auf diese Personen bzw. deren Werke/ Informationen.

Dass Wissenschaftler durch Event Logging bewertet werden, ist nichts Neues: Schon immer zog man bibliometrische Informationen heran, wenn es um die Einschätzung der Leistung eines Wissenschaftlers ging. Sei es, dass diese durch eigenes Verhalten (im Sinne von a) produziert wurden (z. B. wenn die Zahl der Publikationen erhoben wurde), sei es, dass diese durch reaktives Verhalten anderer (b) produziert wurden (z. B. durch Zitationen auf Publikationen). Daher sind die im Folgenden dargestellten Neigungen zur Steuerung von Wissenschaft nichts völlig Unbekanntes, neu hingegen sind die Möglichkeiten, Informationen zu produzierten und genutzten Informationen über eine Vielzahl von Datentypen und -quellen zu sammeln und zu kombinieren, so dass produzierte Texte eine nur noch untergeordnete Rolle spielen.

Vom Verlag zum Research Intelligence Provider

Zur Illustration dieses Wandels bietet sich die Beschreibung der Metamorphose des Verlags Elsevier zum Research Intelligence Dienstleister (Elsevier, 2018e) an, spiegelt dessen strategische Umgestaltung die neuen Möglichkeiten der Protokollierung und Steuerung von Wissenschaft doch nahezu idealtypisch wider.

Verlagsgeschäft (1880)

Der Informationsanbieter Elsevier wurde im Jahr 1880 als Verlag gegründet, das Geschäftsmodell bestand im Verkauf und Vertrieb wissenschaftlicher Publikationen. Im Februar 2018 legt man 2.971 wissenschaftliche Zeitschriften auf. Laut Outsell Report war Elsevier 2013/2014 mit 2.525 Journalen der Verlag, der nach Springer (inkl. BioMed Central, BMC) die zweitmeisten Zeitschriften publizierte (Outsell, 2015, S. 16), Springer und BMC kamen zusammen auf 2.984 Journale.

Geschäftsfeld Bibliometrie (2004)

Spätestens seit 2004 ist Elsevier nicht mehr nur ein Verlag, denn in diesem Jahr brachte man die Datenbank Scopus auf den Markt. Scopus ist eine Recherche- und Zitationsdatenbank und folglich ist für Herausgeber und Verlage eine Indexierung ihrer Journale in Scopus attraktiv: Allein schon die Aufnahme einer Zeitschrift in eine Recherche-Datenbank wird als Gütekriterium wahrgenommen. Dies gilt noch viel mehr, wenn diese Datenbank Auskunft über den Impact, die meist – und umstrittener Weise – als Qualität interpretierte quantitative und durch Zitationszählungen ermittelte Resonanz einer Publikation gibt. Aus der Perspektive des Scopus-Anbieters bedeutet dies, dass fremde Verlage ihm Content geradezu zur Auswertung aufdrängen und Elsevier selbst Daten über das Geflecht wissenschaftlicher Informationen nicht nur als Zitationsdatenbank teuer verkaufen, sondern auch für eigene Zwecke auswerten kann. Mit Scopus erschuf Elsevier, neben der eigenen Verlagsdatenbank ScienceDirect, einen zweiten Datenpool, gefüllt mit Informationen fremder Anbieter, gespickt mit Daten über die Kommunikation in wissenschaftlichen Journalen und mit Meta-Informationen dazu wer (als Person oder Organisation) wieviel, mit wem, worüber publiziert und wer wie häufig von wem zitiert wird.

Geschäftsfeld Benchmarking (2009)

2009 schuf Elsevier mit SciVal ein weiteres, ganz neuartiges Angebot, das weder der Recherche nach Publikationen noch nach Zitationszahlen dient, sondern vielmehr dem Benchmarking von Wissenschaftseinrichtungen. Wir werden später auf diesen Dienst zurückkommen.

Geschäftsfeld Forschungsinformation (2012)

Die Entwicklung weg vom traditionellen Verlagsgeschäft wurde immer offensichtlicher als man 2012 den Anbieter Atira und dessen Forschungsinformationssystem PURE erwarb. Forschungsinformationssysteme dienen nach außen der Darstellung der Leistungsfähigkeit einer Einrichtung, intern zu Benchmarking und Protokollierung der Forschungsleistung dieser. Unter anderem werden solche Systeme üblicher Weise mit Projektdaten, Finanzdaten, Publikationsinformation und Impactziffern gespeist.

Geschäftsfeld Reference Management (2013)

2013 hielt die Shopping Tour Elseviers weiter an und man erwarb die Literaturverwaltung Mendeley. Mendeley dient, vergleichbar den Tools Endnote, Zotero, Citavi, Refworks, der Verwaltung wissenschaftlicher Literatur und hat darüber hinaus eine Social-Network-Komponente zur Kontaktpflege mit Fachkollegen. Literaturverwaltungswerkzeuge erleichtern die Textproduktion und erlauben das bequeme Einfügen von Referenzen in Publikationen. Ob Mendeley dem wirtschaftlich gut aufgestellten Anbieter Elsevier wirklich nennenswerte Einnahmen beschert, mag fraglich erscheinen: Die kostenfreie Endnutzer-Version bietet kaum beachtenswerte Unterschiede zur kostenpflichtigen Variante und auch die Campus-Lizenzen dürften finanziell nicht sonderlich ins Gewicht fallen. Interessanter könnte Mendeley als Datenquelle sein, denn daraus lassen sich Informationen über die Relevanz publizierter Texte gewinnen, die noch zu jung sind, als dass sie hätten zitiert werden können. Weiterhin lässt sich die Relevanz von Texten erfassen, die zwar von großem Interesse zu sein scheinen, da viele Wissenschaftler sie sich in Mendeley merken, die jedoch nicht oder selten zitiert werden (z. B. weil sie eher für die Lehre oder Methodik als die Forschung relevant sind) oder deren Zitationen von klassischen Zitationsdatenbanken nicht erfasst werden, weil die zitierenden Quellen nicht von diesen indexiert sind. Die Möglichkeit, Dokumente in Mendeley als Favorit zu markieren, ermöglicht sogar eine noch exaktere Bewertung deren Inhalts.

Besser noch: Es ließen sich gar Informationen über zukünftige Forschung gewinnen, man müsste dazu nur auslesen, welche Themen in den Bibliotheken der Literaturverwaltungsnutzer gerade Konjunktur haben. Da Mendeley Nutzern auch Online-Profile bietet, sind diese geneigt hier akademischen Status (z. B. Student, Promovierender, Post Doc, Professor), Affiliation und fachliche Zuordnung zu hinterlegen, was noch treffsichere Einschätzungen zu thematischen Moden ermöglicht. Noch feinere Daten fallen an, wenn Mendeley-Nutzer ihren Account mit ihrer Autoren-ID in Scopus verknüpfen.

Geschäftsfeld Medienmonitoring (2015)

2015 kaufte Elsevier den Service Newsflo, der die Wirkung von Wissenschaft, Publikationen und Forschungsergebnissen in Medienberichten analysiert. Der Dienst wertet laut Website (Elsevier, 2018d) 45.000 News Outlets in über 20 Ländern aus (darunter die USA, Indien, China, Brasilien und mehrere europäische Länder) und wirbt mit einer hochpräzisen Suche nach Autoren-IDs und Affiliation durch eine Verbindung mit Scopus. Genauso betont man die Verknüpfung mit:

  • Mendeley zur Bestimmung des gesellschaftlichen Einflusses von Forschung,
  • SciVal zur Visualisierung der Resonanz einer Einrichtung und ihrer Forscher sowie
  • PURE, für das ein Media Showcase mit Live-Feeds existiert, um aggregierte Daten der Presseberichterstattung über Forscher einer Institution zu erhalten und anzuzeigen.

Geschäftsfeld Forschungsdaten-Management (2015)

2015 führte Elsevier schließlich den Forschungsdaten-Dienst Mendeley Data ein. Mendeley Data stellt kostenlosen Speicherplatz zum Ablegen von Forschungsdaten bereit. Naheliegender Weise nutzen manche Elsevier-Journale oder von Elsevier aufgelegte Society Journals (z. B. CELL Press) Mendeley Data, um Artikeln zugrundeliegende Forschungsdaten verfügbar zu machen. Solche mit Publikationen verbundene Datensätze werden auch in ScienceDirect mit dem entsprechenden Artikel nachgewiesen und verlinkt.

Geschäftsfeld Disziplinäre Open Access Repositories (2016)

2016 erstand Elsevier den Open-Access-Dienst Social Science Research Network (SSRN), eine Publikationsplattform für die Sozial- und Geisteswissenschaften, auf der vor allem Preprints und Discussion Papers erscheinen. Der Clou: Man hielt eine Technik in den Händen, die sich auf andere Fachbereiche ausrollen lassen sollte (und die sich perspektivisch als Plattform vermarkten lassen konnte) und hatte Zugriff auf Informationen aus noch nicht formal publizierter Forschung, die also z. B. noch nicht in Scopus oder Mendeley hinterlegt war. Noch weniger als bei Mendeley dürften direkt an SSRN gebundene finanzielle Erwartungen für dessen Kauf gesprochen haben, denn das Publizieren auf SSRN ist nach wie vor entgeltfrei möglich. Das Ausrollen der SSRN-Technik ließ auch nicht lange auf sich warten, noch 2016 startete Elsevier zwei Publikationsdienste für Working Papers aus den Naturwissenschaften, ChemRN und BioRN.

Geschäftsfeld Elektronische Labordaten (2016)

Ebenfalls 2016 erwarb man einen Dienst, der in erster Linie Natur- und Lebenswissenschaftlern nützlich ist: Hivebench. Die Software erlaubt die Verwaltung von Experimenten, Protokollen, Analysen und Daten. Man wirbt mit den Möglichkeiten der umfassenden, konsistenten und strukturierten Datenerfassung mittels Hivebench, das eine einfache und sichere Möglichkeit zur Verwaltung und Aufbewahrung von Protokollen und Forschungsdaten biete (Elsevier, 2018b). Als Anreiz zur Nutzung von Hivebench in Kombination mit anderen Elsevier-Diensten sprechen Komfort und einfache Datenhaltung, exemplarisch werden auf der Website die Integration von Hivebench und Mendeley Data empfohlen, u. a. zur Sicherung der Langzeitarchivierung von Forschungsdaten. Ebenfalls regt man 2018 die integrierte Nutzung von Hivebench und einem institutionellen Open Access Repository an (Elsevier, 2018b). Eine 2016 im Elsevier-Portfolio noch klaffende Lücke, die zu schließen man sich bereits anschickte.

Geschäftsfeld Institutionelle Open Access Repositories (2017)

2017 bediente sich Elsevier nochmals im Open-Access-Segment und übernahm den Repository-Anbieter Bepress. Anders als SSRN, BioRN oder ChemRN, die zentrale fachliche Publikationsserver sind und nicht als Hosting-Lösungen angeboten werden, ist Bepress eine Software, die Forschungseinrichtungen selbst betreiben, um Wissenschaftlern eine Plattform zur Open-Access-Publikation zu bieten. Elsevier (2017a) bewirbt Bepress mit den bekannten Lockmitteln Showcase und Impact: „Campuses can promote faculty and their expertise with scholarly profiles and expert galleries. And administrators can use industry-leading readership analytics to track impact and share it with stakeholders.“ Die Pressemitteilung Elseviers (2017b) anlässlich des Erwerbs von Bepress zitiert Bepress CEO Jean-Gabriel Bankier mit den Worten „Now with Elsevier we’ll be stronger and better by applying more technologies and data and analytics capabilities to help more institutions achieve their research goals.” Ein Kommentar, der vermitteln soll, wie unerlässlich Datenanalysen für eine Wissenschaftseinrichtung sind, die nicht scheitern, sondern ihre Ziele erreichen will. Und auch das Datenvolumen, die Ressource für weitere, noch bessere Analysen, auf die Elsevier nun zugreifen konnte, wird mit „over 2 million articles and 100 million annual downloads” beziffert (Elsevier, 2017b).

Geschäftsfeld Altmetrics (2017)

Im Februar 2017 akquirierte Elsevier schließlich den Altmetrics-Anbieter PLUM Analytics, dessen Service PLUM X, wie andere Altmetrics-Dienste auch, Impact wissenschaftlicher Objekte zu erfassen sucht, der sich nicht (nur) in Zitationen manifestiert, sondern z. B. in der Anzahl der Tweets, der Likes, des Vorkommens in Mendeley-Bibliotheken. PLUM X unterscheidet sich von vergleichbaren Angeboten wie Impactstory oder Altmetrics.com durch den offenkundig kompetitiven Anspruch und seine Benchmarking-Funktionalitäten (Herb, 2016, S. 398) und bringt eine Fülle an Informationen über die Verbreitung wissenschaftlicher Objekte in Social Media, Nachrichten, Literaturverwaltungssystemen und einer Vielzahl anderer Kommunikationskanäle wissenschaftlicher wie nicht-wissenschaftlicher Natur mit sich. Die Liste der Objektarten (oder in der PLUM-Terminologie: Artefakte), die PLUM X trackt (1) , umfasst derzeit 67 Typen, unter anderem auch Audio-Dateien, Blogs, Broschüren, Software Code, Datensätze, Designs, Expertenmeinungen, Regierungsdokumente (2) (PLUM Analytics, 2018).

Vom Verlag zum Betriebssystem

Allein diese, nicht abschließende Liste der Angebote Elseviers (3) zeigt: Elsevier hat ein Betriebssystem mit hoch-integrierten Diensten erschaffen, das ein Wissenschaftler in jeder Arbeitsphase nutzen kann. Man tauscht sich mit seinen Kontakten in Mendeley aus, dort sammelt und verwaltet man zugleich seine Literatur. Preprints oder andere Dokumente stellt man in SSRN-ähnliche Repositories ein, die (wie bei SSRN teils der Fall) mit einschlägigen Journalen gekoppelt sind (4 ), oder auf einen lokalen Bepress-Server. Artikel erscheinen in Elsevier-Journalen, die in ScienceDirect nachgewiesen werden und deren Zitationen in Scopus erfasst sind. Wird eine wissenschaftliche Leistung dann bewertet, gehen darin Informationen aus Scopus und PLUM X ein. Sogar Herausgeber eines nicht bei Elsevier erscheinenden Journals bemühen sich darum, dass dieses in Scopus indexiert oder via PLUM X ausgewertet wird. Forschungsdaten verwaltet man mit Hivebench und publiziert sie mit Mendeley Data, ihr Impact wird mittels PLUM X erfasst. Literatur, Forschungsdaten und Forschungsinformationen verwalten, teilen, publizieren, indexieren, analysieren, bewerten und jede dieser Tätigkeiten verkaufen – das alles bietet Elsevier. Die Resonanz und Bewertung der Forschung innerhalb der Wissenschaft messen Scopus und PLUM X, außerhalb der Wissenschaft erledigt dies Newsflo. Allerdings, man ahnt es, muss man das System nicht nur nicht verlassen, man kann es nicht umgehen und seine Apps nicht ignorieren.

Googleisierung?

Wer nun angesichts Elseviers beeindruckender Datensammlung auf den Vergleich mit Google verfällt, sei beunruhigt. Jedermann kann Googles Sammeleifer (durch Verlust auf Komfort) einigermaßen entgehen und alternative, starken Wert auf Privatsphäre setzende Suchmaschinen wie DuckDuckgo nutzen oder auf ein Android-Smartphone und GoogleMail verzichten. Ein Wissenschaftler kann allerdings nicht verhindern, dass ein Dienstanbieter wie Elsevier ihn ausmisst: Selbst wer nicht in Elsevier-Journalen publizieren will, wird nicht verhindern können, dass seine Artikel in Scopus indiziert werden – besser noch: Er wird, sogar als etwaiger Anhänger eines der vielen Elsevier-Boykotte, die Indizierung in Scopus begrüßen, ist diese doch allein schon ein Zeichen von Reputation. Überdies erlaubt diese Indexierung, dass der Zitationsimpact (als
vermeintlicher Qualitätsindikator) für seine Publikationen ermittelt wird und die Datenbank einen Hirsch-Index für ihn ermitteln kann. Und sowieso: Sind die Publikationen erst einmal in der Welt, werden sie in einem der Elsevier-Dienste früher oder später wie von selbst Spuren hinterlassen: Etwa, wenn Leser sie in ihre Mendeley-Bibliotheken speichern oder sie in einer der vielen Datenquellen des Altmetrics-Dienstes PLUM X erwähnen. Und wer sich als Wissenschaftler ehedem gegen die Nutzung der Literaturverwaltung Endnote entschloss, weil er seine Daten partout nicht dem Elsevier-Konkurrenten und Endnote-Anbieter Thomson Scientific anvertrauen wollte (5) , sondern sich für Mendeley entschied, musste sich (wie der Autor dieses Artikels) eingestehen, dass alle gutgemeinten Überlegungen und die Nutzung innovativer Software kleiner Anbieter angesichts Elseviers geschickter Akquise-Strategie irgendwann obsolet sind. Derartiger Fatalismus dürfte sich genauso unter Hochschulen verbreitet haben, die sich aus ähnlichem Dafürhalten gegen die Nutzung des Forschungsinformationssystems CONVERIS, ebenfalls eines Produktes von Thomson Scientific (6) , aussprachen und lieber auf das später von Elsevier gekaufte System PURE setzten. Schlimmer noch dürfte es die Open-Access-Community getroffen haben, die den Dienst SSRN und zahlreiche Bepress-Server bewarb und aktiv nutzte, um den nicht-kommerziellen Zugang zu wissenschaftlichen Informationen zu fördern – nur um eines Tages verdutzt festzustellen, dass man jahrelang sehr eifrig Content-Akquise für Elsevier betrieben hatte (7). Man darf jedoch keinesfalls vergessen, was geschieht, wenn die Kapitalrendite aus den bereitgestellten Diensten hinter den Erwartungen der kommerziellen Anbieter zurückbleibt: Elsevier etwa stellte seine als „most comprehensive scientific research tool on the web“ (Elsevier, 2013) angepriesene Suchmaschine Scirus 2014 klammheimlich ein (8). Dies verweist auf ein leider wenig diskutiertes Problem, das an dieser Stelle nur kurz angesprochen sei: Die Ökonomisierung der Wissenschaft hat längst die Kuratierung wissenschaftlicher Informationen erreicht (Haider, 2018, S. 25 f.). So nennt der Report „Open innovation, open science, open to the world – a vision for Europe“ der European Commission (2016, S. 50) Elsevier, Springer Nature und dessen Tochter Digital Science, Google und Wikimedia als Verwalter wissenschaftlicher Informationen. Eine Vorstellung, die angesichts der Scirus-Malaise als riskant betrachtet werden könnte.

Der König ist tot, es lebe der König: Data is King

Elsevier hat offensichtlich die Zeichen der Zeit früher erkannt und besser gedeutet als andere Anbieter, wie z. B. Wiley oder Springer Nature, die dem Motto Content is King verhaftet scheinen, und versteht sich lange nicht mehr als Verlag, sondern als „Global Information Analytics Company“ (Elsevier, 2018a). Diese Neuausrichtung der Geschäftsstrategie erklärt sicher teilweise Elseviers bislang hartnäckige Weigerung, ein landesweites Deutschland-Konsortium mit dem Projekt DEAL einzugehen. Erklärte Dienstleistung Elseviers sind „Information analytics“ und damit längst nicht mehr der Vertrieb und Verkauf wissenschaftlicher Publikationen. Die Mission lautet nun: „Uniting content and technology to serve the science, technology and health communities” (Elsevier, 2018c). Die systematische Aufbereitung der in den oben erwähnten Services gesammelten Daten leistet in erster Linie das Angebot SciVal. Schon jetzt erweisen sich dessen Funktionalitäten als – je nach Sichtweise – verführerisch oder gefährlich: Für das Benchmarking sowie für Empfehlungen der Ausrichtung zukünftiger Forschung können zahlreiche Parameter ausgewertet und vielfältige Aussagen getroffen werden. Elsevier macht Einrichtungen SciVal unter anderem durch folgende Funktionen schmackhaft (Elsevier, 2018 f):

  • „Create and select research entities: Test scenarios by modeling any Research Areas or groups such as newly evolving interdisciplinary Research Areas, groups of researchers to apply for a large-scale grant program, and departmental renovations.”
  • „Select metrics: Select and combine any set of metrics to measure an institution’s or a country’s productivity, citation impact, collaboration, subject disciplinarity, visibility and more.”
  • „Access comprehensive research performance summaries of any desired research entities, identify their unique research strengths and multidisciplinary Research Areas.”
  • „Compare the performance of any institutions, countries, and pre-defined groups, or create your own research area and monitor progress over time.”
  • „Develop collaborative partnerships: Identify and analyze existing and potential collaboration opportunities based on publication output and citation impact.”
  • „Analyze research trends: Analyze the research trends of any Research Area with citation and usage data, to discover the top performers and rising stars.”

Auch die Weiterentwicklung SciVals wird skizziert (Elsevier, 2018g): „We are expanding SciVal from being a purely evaluative and analytical tool to being an integral part of your research planning process”. SciVal soll, das belegt dieses Statement (genau wie die obige Liste seiner Features,) eine Planungsinstanz mit Eigenschaften der Predicitve Analysis sein: „You are now able to run a complete portfolio analysis to see which Topics your institution is currently active in, and which Topics have high momentum, those therefore more likely to be well-funded. It will provide insight into which researchers are active in those Topics, which Topics your peers and competitors are active in and the related Topics of which you should be aware.” (Elsevier, 2018g).

Na und?

Ein Angebot wie SciVal kann als Werkzeug verstanden werden, das, in Zeiten knapper Mittel und der Vorstellung von Hochschulen als Unternehmen, Mittel und Personal ökonomisch einzusetzen hilft. Diese Ökonomisierung ist hinreichender Kritik, die hier nicht rekapituliert werden soll, ausgesetzt. Dass Elsevier diese Randbedingungen nutzt, um Angebote zu entwickeln, zu kaufen und zu vermarkten, ist nicht zu kritisieren, denn die RELX-Gruppe als Mutterkonzern Elseviers muss als Wirtschaftsunternehmen das erklärte Ziel haben, möglichst viel Geld zu verdienen (9). Auch die Nutzung der bereitstehenden Daten zum Monitoring und zur Steuerung von Wissenschaft ist kein Alleinstellungsmerkmal Elseviers, denn etwas später verfiel beispielsweise auch Springer Nature auf die Idee, ähnliche Dienstleistungen anzubieten. Springer Nature kennt mit dem SciGraph ein Angebot, das SciVal ähnelt. Man beschreibt SciGraph als: „…our Linked Open Data offering which aggregates data sources from Springer Nature and key partners from the scholarly domain. The Linked Open Data platform collates information from across the research landscape, for example funders, research projects, conferences, affiliations and publications“(Springer Nature, 2018). Auch SciGraph wird mit dirigistischen Funktionalitäten beworben: „Funders, librarians, conference organizers find optimal data for analysis and recommendation tools” (Springer Nature, 2018). Zwar stehen die SciGraph-Daten unter der Creative-Commons-Lizenz CC-BY und als Linked Open Data bereit, die faktische Verwendbarkeit dieser RDF-Daten jedoch erfordert Einiges an Know-how, so dass die Hoheit über die Auswertung weitgehend bei Springer Nature liegen dürfte. Zugleich könnte unter dem Vorzeichen einer derart liberalen Lizenzierung die Open Science Community sogar gegebenenfalls als Beiträger für den Daten-Corpus gewonnen werden. Die Entwicklung von kostenpflichtigen Mehrwertdiensten, wie bei SciVal, wird – so viel kann man vermuten – erst durch die Anreicherung mit nicht-offenen Daten attraktiv. Gleichviel: Es bleibt festzuhalten, dass weder Elsevier noch Springer Nature dafür verurteilt werden können, Geld mit Diensten zu verdienen, nach denen der „Mode 2“ der Hochschulentwicklung giert: Man bedient einen Markt.

Wissenschaft als Zuchtbetrieb

Was jedoch einer Reflektion bedarf, sind die Folgen dieser Art der datengetriebenen Organisation von Wissenschaft. Die aus Big-Data-Analysen gewonnen Schlüsse und Empfehlungen haben, genauer betrachtet, beachtenswerte Implikationen und zwar gleichermaßen innerhalb wie außerhalb der Wissenschaft (Bendel, 2018): So ergeben sich, in einem System wie dem geschilderten, umfassende Fragen nach Datenschutz und Persönlichkeitsrechten. Die heute mögliche, in unvorhersehbarer Weise exakte Identifikation (10) eines einzelnen Wissenschaftlers in all seinen beruflichen Schattierungen und Aktivitäten erlauben zudem eine umfassende Kontrolle, ein unaufhörliches Benchmarking und ein anhaltendes Bewerten der Forschung z. B. hinsichtlich der Berücksichtigung ihrer Anschlussfähigkeit an die (internationalen) Trends. Dies wiederum dürfte zahlreiche Reaktanzen auslösen, so eine aus Befürchtung vor negativer Sanktionierung erfolgende Wahl von Forschungsthemen, Kooperations- und Projektpartnern oder Ko-Autoren und damit zur „digitale[r] Bevormundung“ sowie zur Aufgabe „informationelle[r] Autonomie“ (Bendel, 2018) führen.
Wohin aber könnte uns eine derart auf daten-basierten Empfehlungen beruhende Wissenschaftssteuerung führen? Es drängen sich zwei Metaphern auf, um solche Szenarien zu beschreiben. Eine betriebswirtschaftliche Metapher, durchsetzt mit dem Jargon der Kalkulation und Effizienz, in Gestalt berechneter Kooperationen mit prognostizierten Drittmittel-Einnahmen und empfohlenen Partnerschaften mit erwirtschafteten Renditen in Form von Impact-Raten sowie Exzellenz-Attributen. Ein Szenario, das neben den Gewinnern selbstredend Verlierer braucht, weswegen das Moment des Wettbewerbs nicht fehlen darf: „Showcasing research is critical as competition increases among institutions to secure funding and attract faculty and students“ verlautbarte Elsevier anlässlich der Bepress-Akquise (Elsevier, 2017b). Der Nutzen des Dienstes PLUM X wurde (vor dem Kauf durch Elsevier) folgerichtig mit Worten, die weniger an Wissenschaft als öffentliches Gut gemahnen, sondern an Wissenschaft als darwinistischen Überlebenskampf, geschildert: „Arm your researchers to compete for funding“ hieß es 2016 (nach Herb, 2016, S. 398). Auch 2018 wohnt der Verkaufsargumentation eine militärische Konnotation inne, denn Festlegungen müssen strategisch sein: „….we will show you how to get the most out of Topic Prominence in Science and utilize it in the development and execution of your research strategy“ (Elsevier, 2018g). Andere Ausführungen auf der früheren PLUM X Website, „Determine who should apply for grants“ und „Find collaboration partners“ (Plum Analytics, 2016), verwiesen auf die zweite Metapher, die biologische der Auswahl und Zucht. Diese findet sich, wie erwähnt, auch in den werbenden Beschreibungen zu SciVal (Elsevier, 2018f), wenn es heißt: “Identify and analyze (…) potential collaboration opportunities based on publication output and citation impact” bzw. “Test scenarios by modeling (…) groups of researchers to apply for a large-scale grant program” (11). Bestimmte Entscheidungen, z. B. welcher Forscher sich in Kooperation mit andern Forschern um Drittmittel einer Förderorganisation bemüht, sollen nicht mehr so ohne Weiteres alleine dem Forscher selbst überlassen sein, sondern mit Hilfe der Daten eines Research Intelligence Anbieters getroffen werden. Ähnlich sollen Kooperationen nicht mehr basierend auf Einschätzungen und Expertisen der Wissenschaftler zustande kommen, sondern gezielt nach Effektivitäts – und Rentabilitätskriterien ausgerichtet werden. Eine Vorstellung, die (bislang?) eher an Zuchtprogramme („Determine who should apply for grants“ / „modeling (…) groups (…) to apply for a large-scale grant program“) oder Zwangsehen („Find collaboration partners“ / „Identify (…) potential collaboration opportunities“), denn an freie Wissenschaft denken lässt.

Wer diese Assoziationen weitertreibt, gelangt unweigerlich und sehr schnell zu sehr skurrilen bis unschönen Vorstellungen von Designer-Babys, Inzucht, Degeneration und Sterilität bis hin zu nicht von Wissenschaftspartnervermittlungen (12) bewilligten wilden Ehen zwischen Forscherteams, die man mag es kaum schreiben, Projektbastarde hervorbringen. So deftig, so düster: Denn eine Wissenschaft deren Protokollierung und Steuerung sich immer weiter vorantreiben und deren Entwicklung durch herbeikalkulierte Kooperationen und Selektionen immer geplanter wird, perfektioniert sich am Ende womöglich zu Tode. Schließlich lehrt uns die Evolution, dass jeder Verbesserung und jedem Selektionsvorteil eine Abweichung vom genetischen Plan, eine Mutation, ein Regelbruch, kurzum: ein Fehler vorhergehen muss. Allesamt Phänomene, die eine ausgefeilte Research Intelligence zu eliminieren verspricht.

Endnoten

(1) Tracken kann hier bedeuten, dass a) für diese Objekte (z. B. Code) Impact-Werte ermittelt werden, dass b) für diese und aus diesen Objekten (z. B. Artikel) Impact-Werte ermittelt werden oder dass c) aus diesen Objekten (z. B. Nachrichtenmeldungen) Impact-Werte ermittelt werden.
(2) Hier zeigt sich ein spezieller Wert für Thinktanks.
(3) Eine umfassende, wenn auch nicht vollständige Liste findet sich unter: https://www.elsevier.com/solutions [27.2.2018]. Unter anderem fehlt an dieser Stelle PLUM X.
(4) Hier, wie auch anderen Stellen böten sich förmlich strategische Auswertungen an, von denen man nicht in jedem Fall sicher sagen kann, dass sie angewandt werden: Erreichen die Preprints hohe Downloadzahlen oder Altmetrics-Werte, könnten diese für ein einschlägiges Journal vorgeschlagen werden. Schließlich deuten hohe Download- und Altmetrics-Werte oft auf hohe Zitationszahlen hin (Herb, 2015, S. 207–223).
(5) Endote wird heute von Clarivate Analytics angeboten.
(6) CONVERIS wird heute von Clarivate Analytics angeboten.
(7) Auch hier war der Autor dieses Textes betroffen, der zwar Unterzeichner des Elsevier-Boykotts The Cost of Knowledge ist, von dem allerdings dennoch ein Preprint auf SSRN zu finden ist, wenn auch publiziert vor dem Kauf durch Elsevier.
(8) Mein ausdrücklicher Dank gebührt Jürgen Plieninger für den Hinweis auf diese Volte.
(9) Elsevier erwirtschaftet seit Jahren regelmäßig Gewinne von zwischen 30 und 40 Prozent, im Jahr 2016 beliefen sich die Einnahmen auf 2,478 Milliarden £, der bereinigte operative Gewinn 0,913 Milliarden £ oder 36,8 Prozent (RELX Group, 2018, S. 17).
(10) RELX erwarb übrigens im Januar 2018 den Dienst Threatmetrix, dessen Spezialität die Analyse von Verbindungen zwischen Geräten, von Standorten und von anonymisierten Identitätsinformationen ist (Lunden, 2018).
(11) Wobei diese dirigistische Komponente der betriebswirtschaftlichen implizit zuwiderläuft.
(12) Die Partnervermittlung ElitePartner trägt bereits einen passenden Namen und könnte womöglich Dienstleistungen der Beziehungs-/Kooperationsanbahnung für Hochschulen anbieten.

Literatur

Bendel, O. (2018). Big Data. In Gablers Wirtschaftslexikon. Springer Gabler.
https://wirtschaftslexikon.gabler.de/definition/big-data-54101/version-206361  [27.2.2018].

Elsevier. (2013). Scirus Homepage.
http://web.archive.org/web/20130217135017/http://www.scirus.com/ [27.2.2018].

Elsevier. (2017a). Bepress and Elsevier – an update.
https://www.elsevier.com/connect/bepress-and-elsevier-an-update [27.2.2018].

Elsevier. (2017b). Elsevier acquires bepress, a leading service provider used by academic institutions to showcase their research.
https://www.elsevier.com/about/press-releases/corporate/elsevier-acquires-bepress,-a-leading-service-provider-used-by-academic-institutions-to-showcase-their-research [27.2.2018].

Elsevier. (2018a). Elsevier | An Information Analytics Business | Empowering Knowledge. https://www.elsevier.com/ [27.2.2018].

Elsevier. (2018b). Hivebench | Electronic Laboratory Notebook (ELN) designed for biology research workflows.
https://www.elsevier.com/solutions/hivebench [27.2.2018].

Elsevier. (2018c). Information analytics: Uniting content and technology to serve the science, technology and health communities.
https://www.elsevier.com/connect/information-analytics-uniting-content-and-technology-to-serve-the-science-technology-and-health-communities [27.2.2018].

Elsevier. (2018d). Newsflo | Measures an academic’s societal impact.
https://www.elsevier.com/solutions/newsflo [27.2.2018].

Elsevier. (2018e). Research Intelligence | Reliable Data and Information | Elsevier. https://www.elsevier.com/research-intelligence [27.2.2018].

Elsevier. (2018f). SciVal Features.
https://www.elsevier.com/solutions/scival/features [27.2.2018].

Elsevier. (2018g). Topic Prominence in Science.
https://www.elsevier.com/solutions/scival/releases/topic-prominence-in-science [27.2.2018].

European Commission. (2016). Open innovation, open science, open to the world – a vision for Europe.
http://doi.org/10.2777/061652 [27.2.2018].

Haider, J. (2018). Openness as Tool for Acceleration and Measurement: Reflections on Problem Representations Underpinning Open Access and Open Science. In U. Herb & J. Schöpfel (Hrsg.),Open Divide? Critical Studies on Open Access (S. 17–30). Sacramento, USA: Litwin Books. https://lup.lub.lu.se/search/publication/070c067e-5675-455e-a4b2-81f82b6c75a7 [27.2.2018].

Herb, U. (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie. Glückstadt, Germany: Verlag Werner Hülsbusch.
http://doi.org/10.5281/zenodo.31234 [27.2.2018].

Herb, U. (2016). Altmetrics zwischen Revolution und Dienstleistung: Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS.
https://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35
DOI:10.15203/3122-56-24 [27.2.2018].

Lunden, I. (2018). Relx acquires ThreatMetrix for $817M to ramp up in risk-based authentication. TechCrunch (29.01.2018)
https://techcrunch.com/2018/01/29/relx-threatmetrix-risk-authentication-lexisnexis/ [27.2.2018].

Outsell. (2015). Open Access 2015: Market Size, Share, Forecast, and Trends.
http://esac-initiative.org/outsell-media-business-report-on-open-access-observes-lack-of-robust-infrastructure-for-oa/ [27.2.2018].

Plum Analytics. (2016). PlumX +Grants.
http://plumanalytics.com/products/plumx-grants/ [03.2.2016].

PLUM Analytics. (2018). About Artifacts – Plum Analytics.
https://plumanalytics.com/learn/about-artifacts/ [27.2.2018].

RELX Group. (2018). Annual Reports and Financial Statements 2017.
https://www.relx.com/~/media/Files/R/RELX-Group/documents/reports/annual-reports/relx2017-annual-report.pdf [27.2.2018].

Springer Nature. (2018). SciGraph | For Researchers.
https://www.springernature.com/de/researchers/scigraph [27.2.2018].

 

Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-Statistik

Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-StatistikIm Bibliotheksdienst ist heute ein Artikel zu einem bereits  seit längerem beendeten Projekt erschienen: Open Access Statistik. Er geht zurück auf einen Beitrag zum Workshop „Fachportale, Fachinformationsdienste, Wissenschaftsnetzwerke“ am Institut für Technikfolgenabschätzung (ITAS) in Karlsruhe. Besonders bemühte ich mich um

  • eine Einordnung der – verglichen mit internationalen Diensten, wie ResearchGate, Academia oder Mendeley – strengen rechtlichen Vorgaben
    und
  • die Beschreibung der methodischen Vorzüge des Projekts, das diesbezüglich die Altmetrics weit übertrifft.

Die bibliographischen Daten zum Artikel lauten:

Ulrich Herb. (2018). Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-Statistik. Bibliotheksdienst, 52(3-4), S. 290–302. DOI:10.1515/bd-2018-0034

Die Veranstalter machten die Hybrid-Open-Access-Publikation möglich – ohne Zahlung einer Autorengebühr. Parallel publizierte ich den Artikel auf Zenodo unter https://zenodo.org/record/1195627.

P.S. Ich musste gerade feststellen, dass bei meinem oben verlinkten Altmetrics-kritischen Artikel einiges im Argen liegt: Unter anderem löst die DOI nicht auf, von Design und Usability zu schweigen. Daher änderte ich den Link von der Plattform des Verlags zum rasch eingespielten Zenodo-Deposit. Wer den Mumm hat, kann sich die Verlagsversion mal ansehen. Leider frage ich mich, wie man Wissenschaftler vom nicht-kommerziellen Gold Open Access überzeugen will, wenn die Plattformen teils derart unattraktiv sind.

Copyright note: Icon available under MIT License from https://www.iconfinder.com/icons/2561379/save_icon

Altmetric.com tracks discussions about books listed in Amazon

Altmetric.com Logo
Altmetric.com Logo, downloaded from https://www.altmetric.com/about-us/logos/

The Altmetrics service Altmetric.com announced yesterday that it tracks now discussions about books listed on Amazon in social media and other not primarily scientific publications. According to altmetric.com’s posting this new data source produces „huge volumes of attention data – in just a few days Altmetric has found over 145,000 new mentions of 3,000 Amazon-listed books from Twitter, and over 20,000 mentions from other sources such as news, blogs and policy documents. Around 2 million mentions a year that relate directly to an Amazon record for a book are expected.“

Since the impact measurement for book publications is considered to be complicated and as citations are considered to be of little use for this purpose, Altmetric. com integrated an important impact source for books. It should be noted, however, that smaller publishers in particular are struggling with the use of Amazon as a sales platform due to its high service fees. Should Altmetric. com gain in importance, this could lead authors to opt out of publishing with smaller publishers if these don’t use Amazon as a sales platform.

 

 

 

ra21.org vs. Sci-Hub, Reader Metrics & Kontrolle – Sci-Hub Umfrage – OJS & Altmetrics – Open Access & Utopien

control photo
Photo by marcusrg ra21.org vs. Sci-Hub, Reader Metrics & Kontrolle - Sci-Hub Umfrage - OJS & Altmetrics - Open Access & Utopien

In aller Kürze einige Links und Informationen, die mir recht interessant erschienen, zu deren weiterer Aufbereitung mir jedoch die Zeit fehlte.

Die Versuche, Schattenbibliotheken, die wissenschaftliche Literatur unter Ignoranz des Copyrights entgeltfrei verbreiten, juristisch zu belangen, laufen regelmäßig ins Leere. Wenn nun Richtersprüche den Wissenschaftsverlagen nicht helfen, ihr Geschäft abzusichern, soll es die Technik richten: Die International Association of Scientific, Technical, and Medical Publishers (STM) und die National Information Standards Organization (NISO) wollen im Projekt RA21: Resource Access for the 21st Century die über IP-Ranges gesteuerte Kontrolle der Zugriffe auf lizenziertes Material durch das Modell der föderierten Identitäten oder federated identities ersetzen. In solchen Authentifizierungsverfahren wird nicht mehr anhand des Netzwerks, aus dem versucht wird, ein Objekt abzurufen, darüber entschieden, ob dieser Zugriff legitim ist, sondern anhand einer digitalen Signatur oder Identität. An sich ist diese Technik nicht neu: Unter anderem basiert die seit 2007 existierende OpenID auf besagtem Prinzip. Warum Wissenschaftsverlage zehn Jahre später derartige Authentifizierungsmechanismen für sich entdecken, liegt aber auf der Hand, wenn man die Funktionsweise Sci-Hubs, der größten Schattenbibliothek kennt. Wer in Sci-Hub nach einem Text recherchiert, löst on the fly eine Suche auf den Servern der Wissenschaftsverlage aus. Wird Sci-Hub dort fündig, legt es automatisch eine Kopie an, die zukünftig direkt ohne Zugriff auf den Verlagsserver abgerufen werden kann, und liefert die Datei dem Suchenden aus. Der erste Schritt, die Recherche in den Verlagsservern mit anschließendem Download, glückt aber nur, wenn der Zugriff über eine IP-Adresse erfolgt, die aus einem für den Zugriff autorisierten Netzwerk stammt.  Diesen zulässigen Zugriff simuliert Sci-Hub mittels Informationen, z.B. Login-Passwort-Kombinationen, die via VPN Zugriff auf institutionelle Abonnements ermöglichen. In ra21 nun soll die Hochschule für die Identität des Nutzers, der auf ein lizensiertes Objekt zugreifen will, bürgen und so den Zugriff ermöglichen. Die Anmeldeinformationen sollen nicht an den Verlag weitergeben werden, dennoch ist der Zugriff nun individualisiert und der Download beim Verlag kann einem Nutzer zugeordnet werden – womit die Bereitschaft zur Unterstützung Sci-Hubs durch Weitergabe von Login-Informationen sinken dürfte, denn letztlich streben die Verlage eine Ablösung von an Insititutionen gebundene durch individualisierte Authentifizierungen an. Überdies dürfte ra21 meinem Verständnis nach die Kontrolle der Literaturnutzung per se verstärken und damit neue Input-Faktoren für Altmetrics, allerdings auch neue Möglichkeiten der Überwachung und Bewertung wissenschaftlicher Arbeit schaffen. Zum letzten Punkt veröffentlichte Clifford Lynch im April 2017 den Artikel The rise of reading analytics and the emerging calculus of reader privacy in the digital world in First Monday. Apropos Sci-Hub: Freyja van den Boom (Open Knowledge International/ Lund University) führt eine Umfrage zum Sharing wissenschaftlicher Dokumente und zu Sci-Hub durch.

Das Public Knowledge Project (PKP) kooperiert mit dem Altmetrics-Dienst Impactstory: PKP stellt eine Suite an Open Source Software zum Publizieren wissenschaftlicher Inhalte bereit, darunter das Open Journals System (OJS). PKP will nun in Zusammenarbeit mit Impactstory ein OJS-Plugin entwickeln, das Altmetrics-Scores für Publikationen aus mit OJS-betriebenen Journalen ausweist. Die Daten werden von Crossrefs Service Event Data bezogen.

Das Journal LIBREAS veröffentlichte einen Call for Papers mit der Frage Wirkt Open Access? Oder: Wo ist die Utopie geblieben? – eine Überlegung, die ich selbst auch anstelle. Die Wendungen und qualitativen Entwicklungen des Open Access werden auch Thema einer Session bei den Open Access Tagen in Dresden sein, in der neben Herbert Hrachovec von der Universität Wien auch ich vortragen darf. Der ein oder andere freut sich darauf.

Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics

 

Open Access, Wikipedia, Citizen Science & Open Metrics

Im Nachgang zu meinem Telepolis-Artikel Open-Access-Artikel werden in Wikipedia häufiger zitiert fragte Wikimedia an, ob ich einen Artikel zu Open Access und offenem Wissen für das Wikimedia Blog schreiben könne, der sich ebenfalls mit Open Access und Wikipedia befasst. Dieses Posting ist gestern erschienen, thematisch ist es um den Aspekt der Citizen Science und Open Metrics erweitert: Open Access und seine Wirkung in Wissenschaft, Wirtschaft und Gesellschaft, online unter http://blog.wikimedia.de/2015/08/20/freies-wissen-und-wissenschaft-teil-03-open-access-und-seine-wirkung-in-wissenschaft-wirtschaft-und-gesellschaft/

Impact-Lotterie mit Impactstory

Tendenziell sympathisiere ich mit den Altmetrics, den alternativen Metriken, ermöglichen sie es Wissenschaftlern doch Resonanz auf Werke zu dokumentieren, die sich nicht in Zitationen manifestiert. Zudem können Altmetrics auch Referenzen auf Daten und Software (oder allgemeiner Nicht-Text-Objekte) in Social Media oder anderen Datenspeichern erfassen und so Wissenschaftlern Credit für die Publikation dieser Objekte verschaffen. Theoretisch. Die Datenerhebung zu meiner Dissertation lehrte mich allerdings gewisse Vorbehalte bei der Nutzung einiger Altmetrics-Dienste (Impactstory, altmetric.com, PLUM Analytics) – und ein kurzer Blick in mein Impactstory-Profil nährt diese Skepsis.

In diesem Profil, zu finden unter https://impactstory.org/UlrichHerb, habe ich vor einiger Zeit fünf Publikationen als Selected Works gekennzeichnet. Ich habe darauf verzichtet, meine höchstzitierten Artikel als Selected Works zu kennzeichnen, sondern habe eher solche Publikationen ausgewählt, von denen entweder ich denke, dass sie  – unabhängig von Zitationen, Downloads oder anderen Indikatoren – gelungen sind, oder von denen mir durch andere Personen vemittelt wurde, sie seien nützlich. Diese Publikationen und die Gründe, warum ich sie zu Selected Works kürte, will ich kurz darstellen, zudem werde ich Impact-Werte, die Impactstory für die Items ermittelt, diskutieren.

  1. Herb, Ulrich (2010): Sociological implications of scientific publishing: Open access, science, society, democracy, and the digital divide. In: First Monday. Volume 15 (2010), Issue 2.
    Online: http://firstmonday.org/htbin/cgiwrap/bin/ojs/index.php/fm/article/view/2599/2404 
    doi:10.5210/fm.v15i2.2599

    Diesen Artikel halte ich für den besten, den ich geschrieben habe. Er ist zugleich (laut Google-Scholar-Autorenprofil) mein meist zitierter Artikel (21 Zitate), zu dem weist auch Sopus ihn als meinen höchstzitierten Artikel aus (fünf Zitate). Das Twitter-Archiv topsy fördert bei einer Suche über die Artikel-DOI, mit dem String „Sociological implications of scientific publishing“ oder mittels der Artikel-URL überraschender Weise keinen Tweet auf den Artikel zu Tage. Twitter selbst liefert hingegen bei der String-Suche mit Titelworten durchaus Treffer (s. Screenshot Impact-Lotterie mit Impactstory). Der Artikel hat zudem 74 Mendeley User Counts (MUC), sprich 74 Nutzer haben ihn in ihrer Mendeley-Bibliothek gespeichert. Impactstory weist allerdings keinen einzigen Tweet oder einen MUC auf den Artikel nach. Der Artikel wurde einmal in der englischsprachigen Wikipedia zitiert, doch auch diese Referenz erfasst Impactstory nicht, gleiches gilt für die Scopus-Zitationen und das, obwohl Impactstory angeblich Wikipedia und Scopus auswertet. Inwiefern die Werte in den restlichen Impactstory-Datenquellen korrekt erfasst wurden, prüfe ich nicht, gehe aber auch von einer unvollständigen Erfassung aus.
  2. Eisfeld-Reschke, Jörg: Herb, Ulrich & Wenzlaff, Karsten (2014): Research Funding in Open Science. In S. Bartling & S. Friesike (Hrsg.), Opening Science (S. 237–253). Heidelberg: Springer.

    Diesen Buchbeitrag, den Jörg Eisfeld-Reschke und Karsten Wenzlaff zusammen mit mir verfassten, halte ich für meine zweitbeste Publikation. Er wurde laut Google Scholar nicht zitiert, ebenso laut Scopus. Dies mag daran liegen, dass er erst  2014 publiziert wurde und daran, dass es sich bei ihm nicht um einen Journalartikel handelt. In Scopus, das vorwiegend Journale auswertet, ist der Sammelband erst gar nicht indiziert. Die ausbleibenden Zitationen können aber auch der Thematik geschuldet sein: Der Artikel reflektiert derzeitige Verfahren der Forschungsförderung sehr kritisch und diskutiert neue, experimentelle Alternativen. In einer Wissenschaftswelt, die am Tropf der Drittelmittelgeber hängt, ist es vielleicht nicht zu erwarten, dass ein kontroverser Artikel zur Praxis der Geldgeber mit Zitationen bedacht wird. Topsy weist keinen Treffer für das Dokument nach, weder bei einer Suche nach dem Titel, der URL oder dem DOI. Twitter findet bei einer Titel-Suche drei Treffer, keinen bei einer DOI- oder URL-Suche. Impactstory weist allerdings neun Tweets aus, klicke ich auf das Twitter-Icon in der detaillierten Ansicht des Artikels bei Impactstory gelange ich zum Anbieter altmetric.com, von dem Impactstory die Twitter-Daten bezieht. Überraschenderweise erwähnt altmetric.com aber nur acht Tweets auf den Artikel und nicht neun wie Impactstory. Als MUC-Wert gibt Impactstory zwei Mendeley-Nutzer an, die den Artikel in ihrer Bibliothek vorhalten, altmetric.com hingegen einen einzigen. Bedauerlicher Weise sind beide Werte falsch: Mendeley selbst weist fünf Vorkommen in Nutzerbibliotheken nach. Impactstory und altmetric.com geben eine Wikipedia-Referenz auf den Text an. Tatsächlich wird er aus der englischsprachigen Wikipedia sowie der deutschsprachigen zitiert. Vermutlich werten die Dienste nur die englischsprachige Wikipedia aus, mit Sicherheit kann ich das nicht sagen. Allerdings denke ich nicht, dass sich Impactstory und altmetric.com die Mühe machen zu prüfen, ob Referenzen aus verschiedenen Wikipedia-Lokalisierungen aus Artikeln zum gleichen Thema stammen oder aus Artikeln zu unterschiedlichen Themen. Im ersten Fall wäre es womöglich sinnvoll zwei Referenzen als einen Impact-Event zu werten, im zweiten Fall sollte man wohl von zwei Events ausgehen.
  3. Herb, Ulrich (2014). Total numbers and shares of Open Access Journals using Creative Commons Licenses as listed by the Directory of Open Access Journals. Zenodo. doi:10.5281/zenodo.8327
    Hierbei handelt es sich um Daten, die ich während der Arbeit an meiner Dissertation gewann und über die ich ein Blog-Posting schrieb. Während ich den Artikel, den ich im vorherigen Absatz erwähnte, sehr gut finde, er aber wenig Aufmerksamkeit erhält, verhält es sich mit diesen Daten exakt umgekehrt: Ihr Gehalt ist meiner Meinung nach an Banalität kaum zu überbieten, dennoch war das Echo auf Posting und Datendeposit groß. Aus diesem Grund fügte ich sie auch zu den Selected Works hinzu: Anscheinend sehen andere einen Nutzen in den Daten, den ich nicht sehe. Impactstory weist für die Daten keine Tweets nach, altmetric.com hingegen 38. Topsy liefert keine Treffer, weder für eine Titel-Suche ohne Stopwords, noch für DOI- oder URL-Suche. Twitter liefert zwei Treffer für eine Titel-Suche ohne Stopwords, vier Treffer für eine URL-Suche, keinen Treffer bei einer DOI-Suche. Impactstory weist keinen MUC aus, altmetric.com hingegen einen, was sich mit den Mendeley-Informationen deckt. Die Daten finden keine Erwähnung in Wikipedia, folglich können auch keine Angaben zu Referenzen aus der Enzyklopädie überprüft werden.
  4. Herb, Ulrich (2013). Szientometrie 2.0: Zitate, Nutzung, Social Media Impact – Gütekriterien oder Messung des leicht Messbaren?
    Online: http://de.slideshare.net/uherb/2013-0208vdbkarlsruhe

    Diesen Vortrag hielt ich anlässlich einer Veranstaltung des Vereins Deutscher Bibliothekare (VDB) sowie des Berufsverbandes Information Bibliothek (BIB), Landesgruppe Baden-Württemberg, am KIT in Karlsruhe. Kurz nach der Veranstaltung stellte ich die Folien über die Plattform slideshare bereit. Impactstory gibt für die Folien neun Slideshare-Downloads, vier Slideshare-Favourites (sprich: vier Nutzer markierten die Präsenation als Favorit) und 760 Slideshare-Views (sprich: die Folien wurden 760 Mal in Slideshare betrachtet) aus. Die Angaben stimmen im Wesentlichen mit den Werten, die Slideshare selbst ausgibt, überein, nur bei den Views nennt Slideshare eine höhere Zahl, 761. Diese Diskrepanz dürfte aber bei der nächsten Aktualisierung der Impactstory-Daten behoben sein. Tweets wurden von Impactstory nicht nachgewiesen, ebenso wenig von Topsy (für eine Titel- und URL-Suche), Twitter selbst wies bei einer URL- und Titel-Suche einen Tweet (wie ich gestehen muss, meinen eigenen) mit vier Retweets und zwei Favorisierungen nach. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.

  5. Herb, Ulrich (2014). Predatory Publishing & Open Access: Verdirbt Geld die Wissenschaftskommunikation?
    Online: http://www.slideshare.net/uherb/2014-0318dpgherb-32450408

    Es handelt sich hierbei um einen weiteren Vortrag, diesen hielt ich anlässlich der 78. Jahrestagung der Deutschen Physikalischen Gesellschaft DPG in Berlin. Er findet sich unter den Selected Works, weil ich ihn für gut halte und weil es eine große Freude war, ihn zu halten – was vorrangig am immens interessierten und diskutierfreudigen Publikum lag. Genau wie im vorher erwähnten Fall stellte ich den Vortrag via Slideshare bereit. Laut Impactstory weist er in Slideshare 1.143 Views und fünf Downloads auf; beides deckt sich ungefähr mit den Slideshare-Informationen (1.144 bzw. fünf). Impactstory und Topsy weisen keine Tweets auf die Präsentation nach, Twitter selbst zwei. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.

Mein Fazit fällt recht düster aus: Für meine Selected Works gelingt es Impactstory bei keinem der Items Impact-Werte exakt zu ermitteln. Impactstory erfasst Daten, zumindest für die Selected Works meines Profils, ungeheuer unvollständig. Auch werden anscheinend mitunter verschiedene Datenquellen für den selben Parameter genutzt: In der Regel wird die Anzahl der Tweets offensichtlich über Topsy bezogen (dies deckt sich mit Informationen, die ich über Impactstroy habe), teils aber, z.B. bei Item zwei, von altmetric.com. Jedoch scheint es auch nicht so, dass Impactstory immer Daten von altmetric.com nutzt, wenn altmetric.com diese anbietet: Zu Item drei kennt altmetric.com Daten, diese nutzt Impactstory aber nicht. Werden die Daten von altmetric.com übernommen, können sie aber (wie bei Item zwei) in Impactstory von den Werten in altmetric.com abweichen. Überdies war Topsy als Datenquelle völlig untauglich: Es konnten keine Tweets (weder über Titel- oder DOI- noch URL-Suche) gefunden werden, wohingegen Twitter selbst Werte für die Items lieferte. Auch die Anzahl der Wikipedia-Referenzen wurde in Impactstory falsch erfasst. Ähnlich verhält es sich mit den MUCs: Es gelingt Impactstory nicht, das Vorkommen der Items in Mendeley-Bibliotheken zu beschreiben. Hier patzt auch altmetric.com, das für Item zwei ebenfalls einen zu niedrigen Wert ausgibt. Allgemein könnte die falsche Erfassung zum Teil damit zu erklären sein, dass Impactstory Impact-Events vorrangig über das Auftauchen von DOIs zu ermitteln versucht. Allerdings ist nicht anzunehmen, dass Item eins in keiner der 74 Mendeley-Nutzerbibliotheken unter Erwähnung der DOI gespeichert wurde. Zumindest in meiner eigenen Mendeley-Bibliothek findet sich der Artikel unter Erwähung der DOI. Folglich sind die fehlerhaften Zahlen kaum alleine durch die mangelnde Nutzung von DOIs in Referenzdatensätzen zu erklären. Aber selbst wenn die Erfassung des Impacts über die DOI exakt wäre, hätte die Fokussierung auf die DOI fatale Folgen, unter anderem für Texte, die keine DOI kennen, weil sie nicht elektronisch vorliegen, oder für Werke, die zwar elektronisch vorliegen, aber nicht mit einer DOI versehen werden. Zweites dürfte vor allem Publikationen aus kleineren Verlagen betreffen, wie man sie häufig in Sozial- und Geisteswissenschaften findet. Eine der unbestritten wichtigsten Zeitschriften der deutschsprachigen Soziologie, die Zeitschrift für Soziologie ZfS, etwa nutzt keine DOIs für Artikel. Für solche Artikel können Altmetrics-Dienste, die Resonanz über DOI-Parsing erfassen wollen, niemals Impact-Werte ermitteln, egal wie wertvoll ein Werk ist.

 

[cite]

 

 

Mindmap: Acceptance of AltMetrics

As moderators of the OAI Breakout Group on AltMetrics Daniel Beucke and I would like to invite the Twitter Community to contribute ideas to our discussion. The Breakout Group focusses on steps to improve the acceptance of Altmetrics. We will record the discussion with a mindmap (s. below). Whoever wants to follow the discussion live should reload this page regularly. Whoever wants to contribute ideas via Twitter should use the hashtag #altmetricsmap. Please note: The discussion will probably not start before 4:45 pm. The introducing presentations from the Breakout Group are embedded below.

Update, 2013-06-21: We updated the map according to the results of the discussion, you are still invited to give us further feedback via email oder twitter (@scinoptica or @dmetje).

Mindmap: Acceptance of AltMetrics

You may also download an export of the map here:

Beucke, D., & Herb, U. (2013, June 20). Mindmap: Acceptance of AltMetrics. Zenodo. http://doi.org/10.5281/zenodo.7445, DOI:10.5281/zenodo.7445

This news might also be of interest: The NISO announced to develop Standards and Recommended Practices for AltMetrics.