Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?

Publiziert als / zitieren als:
Herb, U. (2018). Zwangsehen und Bastarde. Information – Wissenschaft & Praxis, 69(2-3), S. 81-88. DOI:10.1515/iwp-2018-0021

Zusammenfassung

Zwangsehen und Bastarde. Wohin steuert Big Data die Wissenschaft?
Availabe in Public Domain from https://secure.flickr.com/photos/usnationalarchives/7136354613/

Taucht das Wort „Wissenschaft“ im Zusammenhang mit Big Data auf, denkt man zumeist an Wissenschaftler, die durch findige Analysen treffsichere Prognosen über zukünftige Entwicklungen, Ereignisse und Handlungen fällen – oder aber mit chirurgischer Präzision Verhalten beeinflussen, wie etwa vom erfolgreichen Wahlkampf Donald Trumps kolportiert. Allerdings sind Wissenschaftler längst nicht mehr nur Agenten in Big-Data-Szenarien, sondern auch Objekte. Die Vermessung der Wissenschaft erfolgt heute nicht allein anhand simpler Zitationszählungen oder erwirtschafteter Projektgelder: Kommerzielle Akteure schicken sich an, ein ganzes Betriebssystem inklusive integrierter Werkzeuge zu schaffen, das unablässig Verhalten von Wissenschaftlern und Performanz von Wissenschaft protokolliert. Der Beitrag illustriert am Wandel des früheren Verlagshauses Elsevier zum Research Intelligence Provider exemplarisch, wie Wissenschaft selbst in den Fokus von Big Data gerät und wie eine Big-Data-gesteuerte Wissenschaft aussehen könnte.

Wissenschaftsbewertung in alter Manier

Die Bewertung von Wissenschaft erfolgt anhand von Event Logging, worunter der Autor im Folgenden zwei Arten von Informationssammlung versteht:

  1. Die Protokollierung der (digitalen) Spuren, die Personen oder Werke/ Informationen, die von ihnen geschaffen wurden, hinterlassen.
  2. Die Protokollierung der Referenzen/ Reaktionen auf diese Personen bzw. deren Werke/ Informationen.

Dass Wissenschaftler durch Event Logging bewertet werden, ist nichts Neues: Schon immer zog man bibliometrische Informationen heran, wenn es um die Einschätzung der Leistung eines Wissenschaftlers ging. Sei es, dass diese durch eigenes Verhalten (im Sinne von a) produziert wurden (z. B. wenn die Zahl der Publikationen erhoben wurde), sei es, dass diese durch reaktives Verhalten anderer (b) produziert wurden (z. B. durch Zitationen auf Publikationen). Daher sind die im Folgenden dargestellten Neigungen zur Steuerung von Wissenschaft nichts völlig Unbekanntes, neu hingegen sind die Möglichkeiten, Informationen zu produzierten und genutzten Informationen über eine Vielzahl von Datentypen und -quellen zu sammeln und zu kombinieren, so dass produzierte Texte eine nur noch untergeordnete Rolle spielen.

Vom Verlag zum Research Intelligence Provider

Zur Illustration dieses Wandels bietet sich die Beschreibung der Metamorphose des Verlags Elsevier zum Research Intelligence Dienstleister (Elsevier, 2018e) an, spiegelt dessen strategische Umgestaltung die neuen Möglichkeiten der Protokollierung und Steuerung von Wissenschaft doch nahezu idealtypisch wider.

Verlagsgeschäft (1880)

Der Informationsanbieter Elsevier wurde im Jahr 1880 als Verlag gegründet, das Geschäftsmodell bestand im Verkauf und Vertrieb wissenschaftlicher Publikationen. Im Februar 2018 legt man 2.971 wissenschaftliche Zeitschriften auf. Laut Outsell Report war Elsevier 2013/2014 mit 2.525 Journalen der Verlag, der nach Springer (inkl. BioMed Central, BMC) die zweitmeisten Zeitschriften publizierte (Outsell, 2015, S. 16), Springer und BMC kamen zusammen auf 2.984 Journale.

Geschäftsfeld Bibliometrie (2004)

Spätestens seit 2004 ist Elsevier nicht mehr nur ein Verlag, denn in diesem Jahr brachte man die Datenbank Scopus auf den Markt. Scopus ist eine Recherche- und Zitationsdatenbank und folglich ist für Herausgeber und Verlage eine Indexierung ihrer Journale in Scopus attraktiv: Allein schon die Aufnahme einer Zeitschrift in eine Recherche-Datenbank wird als Gütekriterium wahrgenommen. Dies gilt noch viel mehr, wenn diese Datenbank Auskunft über den Impact, die meist – und umstrittener Weise – als Qualität interpretierte quantitative und durch Zitationszählungen ermittelte Resonanz einer Publikation gibt. Aus der Perspektive des Scopus-Anbieters bedeutet dies, dass fremde Verlage ihm Content geradezu zur Auswertung aufdrängen und Elsevier selbst Daten über das Geflecht wissenschaftlicher Informationen nicht nur als Zitationsdatenbank teuer verkaufen, sondern auch für eigene Zwecke auswerten kann. Mit Scopus erschuf Elsevier, neben der eigenen Verlagsdatenbank ScienceDirect, einen zweiten Datenpool, gefüllt mit Informationen fremder Anbieter, gespickt mit Daten über die Kommunikation in wissenschaftlichen Journalen und mit Meta-Informationen dazu wer (als Person oder Organisation) wieviel, mit wem, worüber publiziert und wer wie häufig von wem zitiert wird.

Geschäftsfeld Benchmarking (2009)

2009 schuf Elsevier mit SciVal ein weiteres, ganz neuartiges Angebot, das weder der Recherche nach Publikationen noch nach Zitationszahlen dient, sondern vielmehr dem Benchmarking von Wissenschaftseinrichtungen. Wir werden später auf diesen Dienst zurückkommen.

Geschäftsfeld Forschungsinformation (2012)

Die Entwicklung weg vom traditionellen Verlagsgeschäft wurde immer offensichtlicher als man 2012 den Anbieter Atira und dessen Forschungsinformationssystem PURE erwarb. Forschungsinformationssysteme dienen nach außen der Darstellung der Leistungsfähigkeit einer Einrichtung, intern zu Benchmarking und Protokollierung der Forschungsleistung dieser. Unter anderem werden solche Systeme üblicher Weise mit Projektdaten, Finanzdaten, Publikationsinformation und Impactziffern gespeist.

Geschäftsfeld Reference Management (2013)

2013 hielt die Shopping Tour Elseviers weiter an und man erwarb die Literaturverwaltung Mendeley. Mendeley dient, vergleichbar den Tools Endnote, Zotero, Citavi, Refworks, der Verwaltung wissenschaftlicher Literatur und hat darüber hinaus eine Social-Network-Komponente zur Kontaktpflege mit Fachkollegen. Literaturverwaltungswerkzeuge erleichtern die Textproduktion und erlauben das bequeme Einfügen von Referenzen in Publikationen. Ob Mendeley dem wirtschaftlich gut aufgestellten Anbieter Elsevier wirklich nennenswerte Einnahmen beschert, mag fraglich erscheinen: Die kostenfreie Endnutzer-Version bietet kaum beachtenswerte Unterschiede zur kostenpflichtigen Variante und auch die Campus-Lizenzen dürften finanziell nicht sonderlich ins Gewicht fallen. Interessanter könnte Mendeley als Datenquelle sein, denn daraus lassen sich Informationen über die Relevanz publizierter Texte gewinnen, die noch zu jung sind, als dass sie hätten zitiert werden können. Weiterhin lässt sich die Relevanz von Texten erfassen, die zwar von großem Interesse zu sein scheinen, da viele Wissenschaftler sie sich in Mendeley merken, die jedoch nicht oder selten zitiert werden (z. B. weil sie eher für die Lehre oder Methodik als die Forschung relevant sind) oder deren Zitationen von klassischen Zitationsdatenbanken nicht erfasst werden, weil die zitierenden Quellen nicht von diesen indexiert sind. Die Möglichkeit, Dokumente in Mendeley als Favorit zu markieren, ermöglicht sogar eine noch exaktere Bewertung deren Inhalts.

Besser noch: Es ließen sich gar Informationen über zukünftige Forschung gewinnen, man müsste dazu nur auslesen, welche Themen in den Bibliotheken der Literaturverwaltungsnutzer gerade Konjunktur haben. Da Mendeley Nutzern auch Online-Profile bietet, sind diese geneigt hier akademischen Status (z. B. Student, Promovierender, Post Doc, Professor), Affiliation und fachliche Zuordnung zu hinterlegen, was noch treffsichere Einschätzungen zu thematischen Moden ermöglicht. Noch feinere Daten fallen an, wenn Mendeley-Nutzer ihren Account mit ihrer Autoren-ID in Scopus verknüpfen.

Geschäftsfeld Medienmonitoring (2015)

2015 kaufte Elsevier den Service Newsflo, der die Wirkung von Wissenschaft, Publikationen und Forschungsergebnissen in Medienberichten analysiert. Der Dienst wertet laut Website (Elsevier, 2018d) 45.000 News Outlets in über 20 Ländern aus (darunter die USA, Indien, China, Brasilien und mehrere europäische Länder) und wirbt mit einer hochpräzisen Suche nach Autoren-IDs und Affiliation durch eine Verbindung mit Scopus. Genauso betont man die Verknüpfung mit:

  • Mendeley zur Bestimmung des gesellschaftlichen Einflusses von Forschung,
  • SciVal zur Visualisierung der Resonanz einer Einrichtung und ihrer Forscher sowie
  • PURE, für das ein Media Showcase mit Live-Feeds existiert, um aggregierte Daten der Presseberichterstattung über Forscher einer Institution zu erhalten und anzuzeigen.

Geschäftsfeld Forschungsdaten-Management (2015)

2015 führte Elsevier schließlich den Forschungsdaten-Dienst Mendeley Data ein. Mendeley Data stellt kostenlosen Speicherplatz zum Ablegen von Forschungsdaten bereit. Naheliegender Weise nutzen manche Elsevier-Journale oder von Elsevier aufgelegte Society Journals (z. B. CELL Press) Mendeley Data, um Artikeln zugrundeliegende Forschungsdaten verfügbar zu machen. Solche mit Publikationen verbundene Datensätze werden auch in ScienceDirect mit dem entsprechenden Artikel nachgewiesen und verlinkt.

Geschäftsfeld Disziplinäre Open Access Repositories (2016)

2016 erstand Elsevier den Open-Access-Dienst Social Science Research Network (SSRN), eine Publikationsplattform für die Sozial- und Geisteswissenschaften, auf der vor allem Preprints und Discussion Papers erscheinen. Der Clou: Man hielt eine Technik in den Händen, die sich auf andere Fachbereiche ausrollen lassen sollte (und die sich perspektivisch als Plattform vermarkten lassen konnte) und hatte Zugriff auf Informationen aus noch nicht formal publizierter Forschung, die also z. B. noch nicht in Scopus oder Mendeley hinterlegt war. Noch weniger als bei Mendeley dürften direkt an SSRN gebundene finanzielle Erwartungen für dessen Kauf gesprochen haben, denn das Publizieren auf SSRN ist nach wie vor entgeltfrei möglich. Das Ausrollen der SSRN-Technik ließ auch nicht lange auf sich warten, noch 2016 startete Elsevier zwei Publikationsdienste für Working Papers aus den Naturwissenschaften, ChemRN und BioRN.

Geschäftsfeld Elektronische Labordaten (2016)

Ebenfalls 2016 erwarb man einen Dienst, der in erster Linie Natur- und Lebenswissenschaftlern nützlich ist: Hivebench. Die Software erlaubt die Verwaltung von Experimenten, Protokollen, Analysen und Daten. Man wirbt mit den Möglichkeiten der umfassenden, konsistenten und strukturierten Datenerfassung mittels Hivebench, das eine einfache und sichere Möglichkeit zur Verwaltung und Aufbewahrung von Protokollen und Forschungsdaten biete (Elsevier, 2018b). Als Anreiz zur Nutzung von Hivebench in Kombination mit anderen Elsevier-Diensten sprechen Komfort und einfache Datenhaltung, exemplarisch werden auf der Website die Integration von Hivebench und Mendeley Data empfohlen, u. a. zur Sicherung der Langzeitarchivierung von Forschungsdaten. Ebenfalls regt man 2018 die integrierte Nutzung von Hivebench und einem institutionellen Open Access Repository an (Elsevier, 2018b). Eine 2016 im Elsevier-Portfolio noch klaffende Lücke, die zu schließen man sich bereits anschickte.

Geschäftsfeld Institutionelle Open Access Repositories (2017)

2017 bediente sich Elsevier nochmals im Open-Access-Segment und übernahm den Repository-Anbieter Bepress. Anders als SSRN, BioRN oder ChemRN, die zentrale fachliche Publikationsserver sind und nicht als Hosting-Lösungen angeboten werden, ist Bepress eine Software, die Forschungseinrichtungen selbst betreiben, um Wissenschaftlern eine Plattform zur Open-Access-Publikation zu bieten. Elsevier (2017a) bewirbt Bepress mit den bekannten Lockmitteln Showcase und Impact: „Campuses can promote faculty and their expertise with scholarly profiles and expert galleries. And administrators can use industry-leading readership analytics to track impact and share it with stakeholders.“ Die Pressemitteilung Elseviers (2017b) anlässlich des Erwerbs von Bepress zitiert Bepress CEO Jean-Gabriel Bankier mit den Worten „Now with Elsevier we’ll be stronger and better by applying more technologies and data and analytics capabilities to help more institutions achieve their research goals.” Ein Kommentar, der vermitteln soll, wie unerlässlich Datenanalysen für eine Wissenschaftseinrichtung sind, die nicht scheitern, sondern ihre Ziele erreichen will. Und auch das Datenvolumen, die Ressource für weitere, noch bessere Analysen, auf die Elsevier nun zugreifen konnte, wird mit „over 2 million articles and 100 million annual downloads” beziffert (Elsevier, 2017b).

Geschäftsfeld Altmetrics (2017)

Im Februar 2017 akquirierte Elsevier schließlich den Altmetrics-Anbieter PLUM Analytics, dessen Service PLUM X, wie andere Altmetrics-Dienste auch, Impact wissenschaftlicher Objekte zu erfassen sucht, der sich nicht (nur) in Zitationen manifestiert, sondern z. B. in der Anzahl der Tweets, der Likes, des Vorkommens in Mendeley-Bibliotheken. PLUM X unterscheidet sich von vergleichbaren Angeboten wie Impactstory oder Altmetrics.com durch den offenkundig kompetitiven Anspruch und seine Benchmarking-Funktionalitäten (Herb, 2016, S. 398) und bringt eine Fülle an Informationen über die Verbreitung wissenschaftlicher Objekte in Social Media, Nachrichten, Literaturverwaltungssystemen und einer Vielzahl anderer Kommunikationskanäle wissenschaftlicher wie nicht-wissenschaftlicher Natur mit sich. Die Liste der Objektarten (oder in der PLUM-Terminologie: Artefakte), die PLUM X trackt (1) , umfasst derzeit 67 Typen, unter anderem auch Audio-Dateien, Blogs, Broschüren, Software Code, Datensätze, Designs, Expertenmeinungen, Regierungsdokumente (2) (PLUM Analytics, 2018).

Vom Verlag zum Betriebssystem

Allein diese, nicht abschließende Liste der Angebote Elseviers (3) zeigt: Elsevier hat ein Betriebssystem mit hoch-integrierten Diensten erschaffen, das ein Wissenschaftler in jeder Arbeitsphase nutzen kann. Man tauscht sich mit seinen Kontakten in Mendeley aus, dort sammelt und verwaltet man zugleich seine Literatur. Preprints oder andere Dokumente stellt man in SSRN-ähnliche Repositories ein, die (wie bei SSRN teils der Fall) mit einschlägigen Journalen gekoppelt sind (4 ), oder auf einen lokalen Bepress-Server. Artikel erscheinen in Elsevier-Journalen, die in ScienceDirect nachgewiesen werden und deren Zitationen in Scopus erfasst sind. Wird eine wissenschaftliche Leistung dann bewertet, gehen darin Informationen aus Scopus und PLUM X ein. Sogar Herausgeber eines nicht bei Elsevier erscheinenden Journals bemühen sich darum, dass dieses in Scopus indexiert oder via PLUM X ausgewertet wird. Forschungsdaten verwaltet man mit Hivebench und publiziert sie mit Mendeley Data, ihr Impact wird mittels PLUM X erfasst. Literatur, Forschungsdaten und Forschungsinformationen verwalten, teilen, publizieren, indexieren, analysieren, bewerten und jede dieser Tätigkeiten verkaufen – das alles bietet Elsevier. Die Resonanz und Bewertung der Forschung innerhalb der Wissenschaft messen Scopus und PLUM X, außerhalb der Wissenschaft erledigt dies Newsflo. Allerdings, man ahnt es, muss man das System nicht nur nicht verlassen, man kann es nicht umgehen und seine Apps nicht ignorieren.

Googleisierung?

Wer nun angesichts Elseviers beeindruckender Datensammlung auf den Vergleich mit Google verfällt, sei beunruhigt. Jedermann kann Googles Sammeleifer (durch Verlust auf Komfort) einigermaßen entgehen und alternative, starken Wert auf Privatsphäre setzende Suchmaschinen wie DuckDuckgo nutzen oder auf ein Android-Smartphone und GoogleMail verzichten. Ein Wissenschaftler kann allerdings nicht verhindern, dass ein Dienstanbieter wie Elsevier ihn ausmisst: Selbst wer nicht in Elsevier-Journalen publizieren will, wird nicht verhindern können, dass seine Artikel in Scopus indiziert werden – besser noch: Er wird, sogar als etwaiger Anhänger eines der vielen Elsevier-Boykotte, die Indizierung in Scopus begrüßen, ist diese doch allein schon ein Zeichen von Reputation. Überdies erlaubt diese Indexierung, dass der Zitationsimpact (als
vermeintlicher Qualitätsindikator) für seine Publikationen ermittelt wird und die Datenbank einen Hirsch-Index für ihn ermitteln kann. Und sowieso: Sind die Publikationen erst einmal in der Welt, werden sie in einem der Elsevier-Dienste früher oder später wie von selbst Spuren hinterlassen: Etwa, wenn Leser sie in ihre Mendeley-Bibliotheken speichern oder sie in einer der vielen Datenquellen des Altmetrics-Dienstes PLUM X erwähnen. Und wer sich als Wissenschaftler ehedem gegen die Nutzung der Literaturverwaltung Endnote entschloss, weil er seine Daten partout nicht dem Elsevier-Konkurrenten und Endnote-Anbieter Thomson Scientific anvertrauen wollte (5) , sondern sich für Mendeley entschied, musste sich (wie der Autor dieses Artikels) eingestehen, dass alle gutgemeinten Überlegungen und die Nutzung innovativer Software kleiner Anbieter angesichts Elseviers geschickter Akquise-Strategie irgendwann obsolet sind. Derartiger Fatalismus dürfte sich genauso unter Hochschulen verbreitet haben, die sich aus ähnlichem Dafürhalten gegen die Nutzung des Forschungsinformationssystems CONVERIS, ebenfalls eines Produktes von Thomson Scientific (6) , aussprachen und lieber auf das später von Elsevier gekaufte System PURE setzten. Schlimmer noch dürfte es die Open-Access-Community getroffen haben, die den Dienst SSRN und zahlreiche Bepress-Server bewarb und aktiv nutzte, um den nicht-kommerziellen Zugang zu wissenschaftlichen Informationen zu fördern – nur um eines Tages verdutzt festzustellen, dass man jahrelang sehr eifrig Content-Akquise für Elsevier betrieben hatte (7). Man darf jedoch keinesfalls vergessen, was geschieht, wenn die Kapitalrendite aus den bereitgestellten Diensten hinter den Erwartungen der kommerziellen Anbieter zurückbleibt: Elsevier etwa stellte seine als „most comprehensive scientific research tool on the web“ (Elsevier, 2013) angepriesene Suchmaschine Scirus 2014 klammheimlich ein (8). Dies verweist auf ein leider wenig diskutiertes Problem, das an dieser Stelle nur kurz angesprochen sei: Die Ökonomisierung der Wissenschaft hat längst die Kuratierung wissenschaftlicher Informationen erreicht (Haider, 2018, S. 25 f.). So nennt der Report „Open innovation, open science, open to the world – a vision for Europe“ der European Commission (2016, S. 50) Elsevier, Springer Nature und dessen Tochter Digital Science, Google und Wikimedia als Verwalter wissenschaftlicher Informationen. Eine Vorstellung, die angesichts der Scirus-Malaise als riskant betrachtet werden könnte.

Der König ist tot, es lebe der König: Data is King

Elsevier hat offensichtlich die Zeichen der Zeit früher erkannt und besser gedeutet als andere Anbieter, wie z. B. Wiley oder Springer Nature, die dem Motto Content is King verhaftet scheinen, und versteht sich lange nicht mehr als Verlag, sondern als „Global Information Analytics Company“ (Elsevier, 2018a). Diese Neuausrichtung der Geschäftsstrategie erklärt sicher teilweise Elseviers bislang hartnäckige Weigerung, ein landesweites Deutschland-Konsortium mit dem Projekt DEAL einzugehen. Erklärte Dienstleistung Elseviers sind „Information analytics“ und damit längst nicht mehr der Vertrieb und Verkauf wissenschaftlicher Publikationen. Die Mission lautet nun: „Uniting content and technology to serve the science, technology and health communities” (Elsevier, 2018c). Die systematische Aufbereitung der in den oben erwähnten Services gesammelten Daten leistet in erster Linie das Angebot SciVal. Schon jetzt erweisen sich dessen Funktionalitäten als – je nach Sichtweise – verführerisch oder gefährlich: Für das Benchmarking sowie für Empfehlungen der Ausrichtung zukünftiger Forschung können zahlreiche Parameter ausgewertet und vielfältige Aussagen getroffen werden. Elsevier macht Einrichtungen SciVal unter anderem durch folgende Funktionen schmackhaft (Elsevier, 2018 f):

  • „Create and select research entities: Test scenarios by modeling any Research Areas or groups such as newly evolving interdisciplinary Research Areas, groups of researchers to apply for a large-scale grant program, and departmental renovations.”
  • „Select metrics: Select and combine any set of metrics to measure an institution’s or a country’s productivity, citation impact, collaboration, subject disciplinarity, visibility and more.”
  • „Access comprehensive research performance summaries of any desired research entities, identify their unique research strengths and multidisciplinary Research Areas.”
  • „Compare the performance of any institutions, countries, and pre-defined groups, or create your own research area and monitor progress over time.”
  • „Develop collaborative partnerships: Identify and analyze existing and potential collaboration opportunities based on publication output and citation impact.”
  • „Analyze research trends: Analyze the research trends of any Research Area with citation and usage data, to discover the top performers and rising stars.”

Auch die Weiterentwicklung SciVals wird skizziert (Elsevier, 2018g): „We are expanding SciVal from being a purely evaluative and analytical tool to being an integral part of your research planning process”. SciVal soll, das belegt dieses Statement (genau wie die obige Liste seiner Features,) eine Planungsinstanz mit Eigenschaften der Predicitve Analysis sein: „You are now able to run a complete portfolio analysis to see which Topics your institution is currently active in, and which Topics have high momentum, those therefore more likely to be well-funded. It will provide insight into which researchers are active in those Topics, which Topics your peers and competitors are active in and the related Topics of which you should be aware.” (Elsevier, 2018g).

Na und?

Ein Angebot wie SciVal kann als Werkzeug verstanden werden, das, in Zeiten knapper Mittel und der Vorstellung von Hochschulen als Unternehmen, Mittel und Personal ökonomisch einzusetzen hilft. Diese Ökonomisierung ist hinreichender Kritik, die hier nicht rekapituliert werden soll, ausgesetzt. Dass Elsevier diese Randbedingungen nutzt, um Angebote zu entwickeln, zu kaufen und zu vermarkten, ist nicht zu kritisieren, denn die RELX-Gruppe als Mutterkonzern Elseviers muss als Wirtschaftsunternehmen das erklärte Ziel haben, möglichst viel Geld zu verdienen (9). Auch die Nutzung der bereitstehenden Daten zum Monitoring und zur Steuerung von Wissenschaft ist kein Alleinstellungsmerkmal Elseviers, denn etwas später verfiel beispielsweise auch Springer Nature auf die Idee, ähnliche Dienstleistungen anzubieten. Springer Nature kennt mit dem SciGraph ein Angebot, das SciVal ähnelt. Man beschreibt SciGraph als: „…our Linked Open Data offering which aggregates data sources from Springer Nature and key partners from the scholarly domain. The Linked Open Data platform collates information from across the research landscape, for example funders, research projects, conferences, affiliations and publications“(Springer Nature, 2018). Auch SciGraph wird mit dirigistischen Funktionalitäten beworben: „Funders, librarians, conference organizers find optimal data for analysis and recommendation tools” (Springer Nature, 2018). Zwar stehen die SciGraph-Daten unter der Creative-Commons-Lizenz CC-BY und als Linked Open Data bereit, die faktische Verwendbarkeit dieser RDF-Daten jedoch erfordert Einiges an Know-how, so dass die Hoheit über die Auswertung weitgehend bei Springer Nature liegen dürfte. Zugleich könnte unter dem Vorzeichen einer derart liberalen Lizenzierung die Open Science Community sogar gegebenenfalls als Beiträger für den Daten-Corpus gewonnen werden. Die Entwicklung von kostenpflichtigen Mehrwertdiensten, wie bei SciVal, wird – so viel kann man vermuten – erst durch die Anreicherung mit nicht-offenen Daten attraktiv. Gleichviel: Es bleibt festzuhalten, dass weder Elsevier noch Springer Nature dafür verurteilt werden können, Geld mit Diensten zu verdienen, nach denen der „Mode 2“ der Hochschulentwicklung giert: Man bedient einen Markt.

Wissenschaft als Zuchtbetrieb

Was jedoch einer Reflektion bedarf, sind die Folgen dieser Art der datengetriebenen Organisation von Wissenschaft. Die aus Big-Data-Analysen gewonnen Schlüsse und Empfehlungen haben, genauer betrachtet, beachtenswerte Implikationen und zwar gleichermaßen innerhalb wie außerhalb der Wissenschaft (Bendel, 2018): So ergeben sich, in einem System wie dem geschilderten, umfassende Fragen nach Datenschutz und Persönlichkeitsrechten. Die heute mögliche, in unvorhersehbarer Weise exakte Identifikation (10) eines einzelnen Wissenschaftlers in all seinen beruflichen Schattierungen und Aktivitäten erlauben zudem eine umfassende Kontrolle, ein unaufhörliches Benchmarking und ein anhaltendes Bewerten der Forschung z. B. hinsichtlich der Berücksichtigung ihrer Anschlussfähigkeit an die (internationalen) Trends. Dies wiederum dürfte zahlreiche Reaktanzen auslösen, so eine aus Befürchtung vor negativer Sanktionierung erfolgende Wahl von Forschungsthemen, Kooperations- und Projektpartnern oder Ko-Autoren und damit zur „digitale[r] Bevormundung“ sowie zur Aufgabe „informationelle[r] Autonomie“ (Bendel, 2018) führen.
Wohin aber könnte uns eine derart auf daten-basierten Empfehlungen beruhende Wissenschaftssteuerung führen? Es drängen sich zwei Metaphern auf, um solche Szenarien zu beschreiben. Eine betriebswirtschaftliche Metapher, durchsetzt mit dem Jargon der Kalkulation und Effizienz, in Gestalt berechneter Kooperationen mit prognostizierten Drittmittel-Einnahmen und empfohlenen Partnerschaften mit erwirtschafteten Renditen in Form von Impact-Raten sowie Exzellenz-Attributen. Ein Szenario, das neben den Gewinnern selbstredend Verlierer braucht, weswegen das Moment des Wettbewerbs nicht fehlen darf: „Showcasing research is critical as competition increases among institutions to secure funding and attract faculty and students“ verlautbarte Elsevier anlässlich der Bepress-Akquise (Elsevier, 2017b). Der Nutzen des Dienstes PLUM X wurde (vor dem Kauf durch Elsevier) folgerichtig mit Worten, die weniger an Wissenschaft als öffentliches Gut gemahnen, sondern an Wissenschaft als darwinistischen Überlebenskampf, geschildert: „Arm your researchers to compete for funding“ hieß es 2016 (nach Herb, 2016, S. 398). Auch 2018 wohnt der Verkaufsargumentation eine militärische Konnotation inne, denn Festlegungen müssen strategisch sein: „….we will show you how to get the most out of Topic Prominence in Science and utilize it in the development and execution of your research strategy“ (Elsevier, 2018g). Andere Ausführungen auf der früheren PLUM X Website, „Determine who should apply for grants“ und „Find collaboration partners“ (Plum Analytics, 2016), verwiesen auf die zweite Metapher, die biologische der Auswahl und Zucht. Diese findet sich, wie erwähnt, auch in den werbenden Beschreibungen zu SciVal (Elsevier, 2018f), wenn es heißt: “Identify and analyze (…) potential collaboration opportunities based on publication output and citation impact” bzw. “Test scenarios by modeling (…) groups of researchers to apply for a large-scale grant program” (11). Bestimmte Entscheidungen, z. B. welcher Forscher sich in Kooperation mit andern Forschern um Drittmittel einer Förderorganisation bemüht, sollen nicht mehr so ohne Weiteres alleine dem Forscher selbst überlassen sein, sondern mit Hilfe der Daten eines Research Intelligence Anbieters getroffen werden. Ähnlich sollen Kooperationen nicht mehr basierend auf Einschätzungen und Expertisen der Wissenschaftler zustande kommen, sondern gezielt nach Effektivitäts – und Rentabilitätskriterien ausgerichtet werden. Eine Vorstellung, die (bislang?) eher an Zuchtprogramme („Determine who should apply for grants“ / „modeling (…) groups (…) to apply for a large-scale grant program“) oder Zwangsehen („Find collaboration partners“ / „Identify (…) potential collaboration opportunities“), denn an freie Wissenschaft denken lässt.

Wer diese Assoziationen weitertreibt, gelangt unweigerlich und sehr schnell zu sehr skurrilen bis unschönen Vorstellungen von Designer-Babys, Inzucht, Degeneration und Sterilität bis hin zu nicht von Wissenschaftspartnervermittlungen (12) bewilligten wilden Ehen zwischen Forscherteams, die man mag es kaum schreiben, Projektbastarde hervorbringen. So deftig, so düster: Denn eine Wissenschaft deren Protokollierung und Steuerung sich immer weiter vorantreiben und deren Entwicklung durch herbeikalkulierte Kooperationen und Selektionen immer geplanter wird, perfektioniert sich am Ende womöglich zu Tode. Schließlich lehrt uns die Evolution, dass jeder Verbesserung und jedem Selektionsvorteil eine Abweichung vom genetischen Plan, eine Mutation, ein Regelbruch, kurzum: ein Fehler vorhergehen muss. Allesamt Phänomene, die eine ausgefeilte Research Intelligence zu eliminieren verspricht.

Endnoten

(1) Tracken kann hier bedeuten, dass a) für diese Objekte (z. B. Code) Impact-Werte ermittelt werden, dass b) für diese und aus diesen Objekten (z. B. Artikel) Impact-Werte ermittelt werden oder dass c) aus diesen Objekten (z. B. Nachrichtenmeldungen) Impact-Werte ermittelt werden.
(2) Hier zeigt sich ein spezieller Wert für Thinktanks.
(3) Eine umfassende, wenn auch nicht vollständige Liste findet sich unter: https://www.elsevier.com/solutions [27.2.2018]. Unter anderem fehlt an dieser Stelle PLUM X.
(4) Hier, wie auch anderen Stellen böten sich förmlich strategische Auswertungen an, von denen man nicht in jedem Fall sicher sagen kann, dass sie angewandt werden: Erreichen die Preprints hohe Downloadzahlen oder Altmetrics-Werte, könnten diese für ein einschlägiges Journal vorgeschlagen werden. Schließlich deuten hohe Download- und Altmetrics-Werte oft auf hohe Zitationszahlen hin (Herb, 2015, S. 207–223).
(5) Endote wird heute von Clarivate Analytics angeboten.
(6) CONVERIS wird heute von Clarivate Analytics angeboten.
(7) Auch hier war der Autor dieses Textes betroffen, der zwar Unterzeichner des Elsevier-Boykotts The Cost of Knowledge ist, von dem allerdings dennoch ein Preprint auf SSRN zu finden ist, wenn auch publiziert vor dem Kauf durch Elsevier.
(8) Mein ausdrücklicher Dank gebührt Jürgen Plieninger für den Hinweis auf diese Volte.
(9) Elsevier erwirtschaftet seit Jahren regelmäßig Gewinne von zwischen 30 und 40 Prozent, im Jahr 2016 beliefen sich die Einnahmen auf 2,478 Milliarden £, der bereinigte operative Gewinn 0,913 Milliarden £ oder 36,8 Prozent (RELX Group, 2018, S. 17).
(10) RELX erwarb übrigens im Januar 2018 den Dienst Threatmetrix, dessen Spezialität die Analyse von Verbindungen zwischen Geräten, von Standorten und von anonymisierten Identitätsinformationen ist (Lunden, 2018).
(11) Wobei diese dirigistische Komponente der betriebswirtschaftlichen implizit zuwiderläuft.
(12) Die Partnervermittlung ElitePartner trägt bereits einen passenden Namen und könnte womöglich Dienstleistungen der Beziehungs-/Kooperationsanbahnung für Hochschulen anbieten.

Literatur

Bendel, O. (2018). Big Data. In Gablers Wirtschaftslexikon. Springer Gabler.
https://wirtschaftslexikon.gabler.de/definition/big-data-54101/version-206361  [27.2.2018].

Elsevier. (2013). Scirus Homepage.
http://web.archive.org/web/20130217135017/http://www.scirus.com/ [27.2.2018].

Elsevier. (2017a). Bepress and Elsevier – an update.
https://www.elsevier.com/connect/bepress-and-elsevier-an-update [27.2.2018].

Elsevier. (2017b). Elsevier acquires bepress, a leading service provider used by academic institutions to showcase their research.
https://www.elsevier.com/about/press-releases/corporate/elsevier-acquires-bepress,-a-leading-service-provider-used-by-academic-institutions-to-showcase-their-research [27.2.2018].

Elsevier. (2018a). Elsevier | An Information Analytics Business | Empowering Knowledge. https://www.elsevier.com/ [27.2.2018].

Elsevier. (2018b). Hivebench | Electronic Laboratory Notebook (ELN) designed for biology research workflows.
https://www.elsevier.com/solutions/hivebench [27.2.2018].

Elsevier. (2018c). Information analytics: Uniting content and technology to serve the science, technology and health communities.
https://www.elsevier.com/connect/information-analytics-uniting-content-and-technology-to-serve-the-science-technology-and-health-communities [27.2.2018].

Elsevier. (2018d). Newsflo | Measures an academic’s societal impact.
https://www.elsevier.com/solutions/newsflo [27.2.2018].

Elsevier. (2018e). Research Intelligence | Reliable Data and Information | Elsevier. https://www.elsevier.com/research-intelligence [27.2.2018].

Elsevier. (2018f). SciVal Features.
https://www.elsevier.com/solutions/scival/features [27.2.2018].

Elsevier. (2018g). Topic Prominence in Science.
https://www.elsevier.com/solutions/scival/releases/topic-prominence-in-science [27.2.2018].

European Commission. (2016). Open innovation, open science, open to the world – a vision for Europe.
http://doi.org/10.2777/061652 [27.2.2018].

Haider, J. (2018). Openness as Tool for Acceleration and Measurement: Reflections on Problem Representations Underpinning Open Access and Open Science. In U. Herb & J. Schöpfel (Hrsg.),Open Divide? Critical Studies on Open Access (S. 17–30). Sacramento, USA: Litwin Books. https://lup.lub.lu.se/search/publication/070c067e-5675-455e-a4b2-81f82b6c75a7 [27.2.2018].

Herb, U. (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie. Glückstadt, Germany: Verlag Werner Hülsbusch.
http://doi.org/10.5281/zenodo.31234 [27.2.2018].

Herb, U. (2016). Altmetrics zwischen Revolution und Dienstleistung: Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS.
https://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35
DOI:10.15203/3122-56-24 [27.2.2018].

Lunden, I. (2018). Relx acquires ThreatMetrix for $817M to ramp up in risk-based authentication. TechCrunch (29.01.2018)
https://techcrunch.com/2018/01/29/relx-threatmetrix-risk-authentication-lexisnexis/ [27.2.2018].

Outsell. (2015). Open Access 2015: Market Size, Share, Forecast, and Trends.
http://esac-initiative.org/outsell-media-business-report-on-open-access-observes-lack-of-robust-infrastructure-for-oa/ [27.2.2018].

Plum Analytics. (2016). PlumX +Grants.
http://plumanalytics.com/products/plumx-grants/ [03.2.2016].

PLUM Analytics. (2018). About Artifacts – Plum Analytics.
https://plumanalytics.com/learn/about-artifacts/ [27.2.2018].

RELX Group. (2018). Annual Reports and Financial Statements 2017.
https://www.relx.com/~/media/Files/R/RELX-Group/documents/reports/annual-reports/relx2017-annual-report.pdf [27.2.2018].

Springer Nature. (2018). SciGraph | For Researchers.
https://www.springernature.com/de/researchers/scigraph [27.2.2018].

 

Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-Statistik

Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-StatistikIm Bibliotheksdienst ist heute ein Artikel zu einem bereits  seit längerem beendeten Projekt erschienen: Open Access Statistik. Er geht zurück auf einen Beitrag zum Workshop „Fachportale, Fachinformationsdienste, Wissenschaftsnetzwerke“ am Institut für Technikfolgenabschätzung (ITAS) in Karlsruhe. Besonders bemühte ich mich um

  • eine Einordnung der – verglichen mit internationalen Diensten, wie ResearchGate, Academia oder Mendeley – strengen rechtlichen Vorgaben
    und
  • die Beschreibung der methodischen Vorzüge des Projekts, das diesbezüglich die Altmetrics weit übertrifft.

Die bibliographischen Daten zum Artikel lauten:

Ulrich Herb. (2018). Viele Daten, hohe Hürden: Eine Bilanz aus dem Projekt Open-Access-Statistik. Bibliotheksdienst, 52(3-4), S. 290–302. DOI:10.1515/bd-2018-0034

Die Veranstalter machten die Hybrid-Open-Access-Publikation möglich – ohne Zahlung einer Autorengebühr. Parallel publizierte ich den Artikel auf Zenodo unter https://zenodo.org/record/1195627.

P.S. Ich musste gerade feststellen, dass bei meinem oben verlinkten Altmetrics-kritischen Artikel einiges im Argen liegt: Unter anderem löst die DOI nicht auf, von Design und Usability zu schweigen. Daher änderte ich den Link von der Plattform des Verlags zum rasch eingespielten Zenodo-Deposit. Wer den Mumm hat, kann sich die Verlagsversion mal ansehen. Leider frage ich mich, wie man Wissenschaftler vom nicht-kommerziellen Gold Open Access überzeugen will, wenn die Plattformen teils derart unattraktiv sind.

Copyright note: Icon available under MIT License from https://www.iconfinder.com/icons/2561379/save_icon

Altmetric.com tracks discussions about books listed in Amazon

Altmetric.com Logo
Altmetric.com Logo, downloaded from https://www.altmetric.com/about-us/logos/

The Altmetrics service Altmetric.com announced yesterday that it tracks now discussions about books listed on Amazon in social media and other not primarily scientific publications. According to altmetric.com’s posting this new data source produces „huge volumes of attention data – in just a few days Altmetric has found over 145,000 new mentions of 3,000 Amazon-listed books from Twitter, and over 20,000 mentions from other sources such as news, blogs and policy documents. Around 2 million mentions a year that relate directly to an Amazon record for a book are expected.“

Since the impact measurement for book publications is considered to be complicated and as citations are considered to be of little use for this purpose, Altmetric. com integrated an important impact source for books. It should be noted, however, that smaller publishers in particular are struggling with the use of Amazon as a sales platform due to its high service fees. Should Altmetric. com gain in importance, this could lead authors to opt out of publishing with smaller publishers if these don’t use Amazon as a sales platform.

 

 

 

Indexierungsfehler im Social Science Citation Index, ein Interview mit Terje Tüür-Fröhlich

letters photo
Photo by limbte Indexierungsfehler im Social Science Citation Index, ein Interview mit Terje Tüür-Fröhlich

Bereits vor circa einem halben Jahr wies ich in diesem Blog auf Terje Tüür-Fröhlichs Dissertation über Indexierungsfehler in Zitationsdatenbanken im Allgemeinen und dem Social Science Citation Index (SSCI) im Speziellen hin. In telepolis erschien nun ein Interview mit der Autorin, das einen Einblick in ihre Dissertation The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation und die Relevanz der Indexierungsfehler für die Evaluierung von Wissenschaft gibt.

Hier der Link zum Interview in telepolis: „Auch Bourdieu ist ein Indexierungsopfer.“ Wissenschaftsforscherin Terje Tüür-Fröhlich über Wissenschaftsevaluierung und fehlerhafte Zitationsdatenbanken, https://www.heise.de/tp/features/Auch-Pierre-Bourdieu-ist-ein-Indexierungsopfer-3727711.html

Wissenschaftliches Publizieren – Zwischen Digitalisierung, Leistungsmessung, Ökonomisierung und medialer Beobachtung

Kürzlich publizierten Peter Weingart und Niels Taubert einen Sammelband, der Lesern dieses Blogs und meiner Arbeiten wohl interessant erscheinen dürfte, die Beiträge im Open-Access-Werk befassen sich mit der Diversität wissenschaftlichen Publizierens, Open Access, Open Science, Qualitätssicherung, Peer Review, Predatory Publishing, der Evaluierung von Wissenschaft, Impact und verwandten Themen.

Die bibliographischen Angaben lauten:

Weingart, Peter; Taubert, Niels (Hrsg): Wissenschaftliches Publizieren –
Zwischen Digitalisierung, Leistungsmessung, Ökonomisierung und medialer
Beobachtung. De Gruyter, 2016.
https://www.degruyter.com/viewbooktoc/product/463455

Hier das Inhaltsverzeichnis:

 

 

Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Journal zahlt Autoren für Zitate ihrer Artikel

Jeffrey Beall, dessen Pauschalisierungen zu Predatory Open Access ich nicht teile und dessen Injurien gegen integre Open-Access-Journale mich oft stören, liefert in seinem Blog Scholarly Open Access immer wieder Hinweise auf Auswüchse im wissenschaftlichen Publikationswesen. Das International Journal of Emerging Technology and Advanced Engineering (IJETAE) ist nun Thema eines Beall-Postings.

Vorab: Das Journal nutzt Article Processing Charges (APCs) als Einnahmequelle, für die Publikation eines zehnseitigen Artikels werden 170 US-Dollar fällig. Die Issues erscheinen in kurzen Intervallen, nämlich im Monatsabstand, und sind prall gefüllt – Issue 9 des Volume 6 umfasst 54 Artikel.

Beall verweist jedoch auf ein anderes Merkmal, welches das IJETAE meiner Kenntnis nach von anderen Journalen abhebt: Es zahlt seinen Autoren Geld für Zitationen auf ihre IJETAE-Artikel. Er zitiert als Beleg aus einer Mail, die das Journal an potentielle Autoren schickte:

All published articles from  September 2016 onwards will be applicable for “Research Paper Royalty Scheme” in which  corresponding author will get a reimbursement of 100 USD/6000 INR if his/her paper is cited by any 20 researchers in any reputed International Journal/Conferences in a year. If you are confident about your Research work then IJETAE will be honoured to appreciate it. Author can also keep track on Citation Count using Google Scholar.

Ich muss anmerken, dass die Google-Suche nach einzelnen Phrasen der Mail mich nicht zu Archiven von Mailinglisten führte, in denen ich den Inhalt der Mail verifizieren konnte. Allerdings finden sich in einem anderen Blog gleichfalls Nachrichten über diese Mails. Da derartige Informationen in der Regel direkt an Wissenschaftler gehen und nicht über Listen versendet werden, scheinen die Schilderungen über die in Aussicht gestellte Belohnung nicht zweifelhaft.

Von der Homepage des International Journal of Emerging Technology and Advanced Engineering
Von der Homepage des International Journal of Emerging Technology and Advanced Engineering

Warum nun die Entlohnung? Zwar schmückt sich das IJETAE mit einem Fake Impact Factor, auch auf der Grafik zu sehen, ein echter Journal Impact Factor (JIF) dürfte dennoch perspektivisch lukrativer sein. Da die Aufnahme eines Journals in das Web of Science (WoS), anhand dessen der Original-JIF berechnet wird, maßgeblich von Zitationszahlen abhängt, könnte man die Strategie verfolgen durch hohe Zitationszahlen den Weg ins WoS zu finden. Die Aufnahme in WoS hängt zwar auch von anderen Kriterien ab, aber die ließen sich mit ein bisschen Kosmetik womöglich auch noch erfüllen. Der Verweis auf Google Scholar legt auch die Vermutung nahe, man wolle durch gesteigerte Zitationszahlen in den Fächer-Rankings Google Scholars steigen.

Egal, ob das Ziel die Aufnahme ins WoS oder die höhere Position im Google Scholar Ranking ist – beides würde das IJETAE für Autoren attraktiver machen, damit zugleich zahlungsfreudiger und bereit höhere Gebühren zu zahlen.

Publikationshinweis: „The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation“

In der Schriftenreihe Schriften zur Informationswissenschaft des Hochschulverbandes Informationswissenschaft ist die Dissertation meiner Kollegin Terje Tüür–Fröhlich erschienen, das Inhaltverzeichnis kann hier eingesehen werden.

Abstract:

“Thomson Reuters’ citation indexes i.e. SCI, SSCI and AHCI are said to be “authoritative”. Due to the huge influence of these databases on global academic evaluation of productivity and impact, Terje Tüür-Fröhlich decided to conduct case studies on the data quality of Social Sciences Citation Index (SSCI) records. Tüür-Fröhlich investigated articles from social science and law. The main findings: SSCI records contain tremendous amounts of “trivial errors”, not only misspellings and typos as previously mentioned in bibliometrics and scientometrics literature. But Tüür-Fröhlich’s research documented fatal errors which have not been mentioned in the scientometrics literature yet at all. Tüür-Fröhlich found more than 80 fatal mutations and mutilations of Pierre Bourdieu (e.g. “Atkinson” or “Pierre, B. and “Pierri, B.”). SSCI even generated zombie references (phantom authors and works) by data fields’ confusion – a deadly sin for a database producer – as fragments of Patent Laws were indexed as fictional author surnames/initials. Additionally, horrific OCR-errors (e.g. “nuxure” instead of “Nature” as journal title) were identified. Tüür-Fröhlich´s extensive quantitative case study of an article of the Harvard Law Review resulted in a devastating finding: only 1% of all correct references from the original article were indexed by SSCI without any mistake or error. Many scientific communication experts and database providers’ believe that errors in databanks are of less importance: There are many errors, yes – but they would counterbalance each other, errors would not result in citation losses and would not bear any effect on retrieval and evaluation outcomes. Terje Tüür-Fröhlich claims the contrary: errors and inconsistencies are not evenly distributed but linked with languages biases and publication cultures.”

Tüür–Fröhlich, Terje (2016): The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Preface: Volker Gadenne. Schriften zur Informationswissenschaft; Bd. 69. Glückstadt/D: vwh. ISBN-10: 3864881048; ISBN-13: 978-3864881046

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics