Tendenziell sympathisiere ich mit den Altmetrics, den alternativen Metriken, ermöglichen sie es Wissenschaftlern doch Resonanz auf Werke zu dokumentieren, die sich nicht in Zitationen manifestiert. Zudem können Altmetrics auch Referenzen auf Daten und Software (oder allgemeiner Nicht-Text-Objekte) in Social Media oder anderen Datenspeichern erfassen und so Wissenschaftlern Credit für die Publikation dieser Objekte verschaffen. Theoretisch. Die Datenerhebung zu meiner Dissertation lehrte mich allerdings gewisse Vorbehalte bei der Nutzung einiger Altmetrics-Dienste (Impactstory, altmetric.com, PLUM Analytics) – und ein kurzer Blick in mein Impactstory-Profil nährt diese Skepsis.nnIn diesem Profil, zu finden unter https://impactstory.org/UlrichHerb, habe ich vor einiger Zeit fünf Publikationen als Selected Works gekennzeichnet. Ich habe darauf verzichtet, meine höchstzitierten Artikel als Selected Works zu kennzeichnen, sondern habe eher solche Publikationen ausgewählt, von denen entweder ich denke, dass sie – unabhängig von Zitationen, Downloads oder anderen Indikatoren – gelungen sind, oder von denen mir durch andere Personen vemittelt wurde, sie seien nützlich. Diese Publikationen und die Gründe, warum ich sie zu Selected Works kürte, will ich kurz darstellen, zudem werde ich Impact-Werte, die Impactstory für die Items ermittelt, diskutieren.n
- n
- Herb, Ulrich (2010): Sociological implications of scientific publishing: Open access, science, society, democracy, and the digital divide. In: First Monday. Volume 15 (2010), Issue 2.nOnline: http://firstmonday.org/htbin/cgiwrap/bin/ojs/index.php/fm/article/view/2599/2404 ndoi:10.5210/fm.v15i2.2599nnDiesen Artikel halte ich für den besten, den ich geschrieben habe. Er ist zugleich (laut Google-Scholar-Autorenprofil) mein meist zitierter Artikel (21 Zitate), zu dem weist auch Sopus ihn als meinen höchstzitierten Artikel aus (fünf Zitate). Das Twitter-Archiv topsy fördert bei einer Suche über die Artikel-DOI, mit dem String “Sociological implications of scientific publishing” oder mittels der Artikel-URL überraschender Weise keinen Tweet auf den Artikel zu Tage. Twitter selbst liefert hingegen bei der String-Suche mit Titelworten durchaus Treffer (s. Screenshot
). Der Artikel hat zudem 74 Mendeley User Counts (MUC), sprich 74 Nutzer haben ihn in ihrer Mendeley-Bibliothek gespeichert. Impactstory weist allerdings keinen einzigen Tweet oder einen MUC auf den Artikel nach. Der Artikel wurde einmal in der englischsprachigen Wikipedia zitiert, doch auch diese Referenz erfasst Impactstory nicht, gleiches gilt für die Scopus-Zitationen und das, obwohl Impactstory angeblich Wikipedia und Scopus auswertet. Inwiefern die Werte in den restlichen Impactstory-Datenquellen korrekt erfasst wurden, prüfe ich nicht, gehe aber auch von einer unvollständigen Erfassung aus. - Eisfeld-Reschke, Jörg: Herb, Ulrich & Wenzlaff, Karsten (2014): Research Funding in Open Science. In S. Bartling & S. Friesike (Hrsg.), Opening Science (S. 237–253). Heidelberg: Springer.n
n
n
Diesen Buchbeitrag, den Jörg Eisfeld-Reschke und Karsten Wenzlaff zusammen mit mir verfassten, halte ich für meine zweitbeste Publikation. Er wurde laut Google Scholar nicht zitiert, ebenso laut Scopus. Dies mag daran liegen, dass er erst 2014 publiziert wurde und daran, dass es sich bei ihm nicht um einen Journalartikel handelt. In Scopus, das vorwiegend Journale auswertet, ist der Sammelband erst gar nicht indiziert. Die ausbleibenden Zitationen können aber auch der Thematik geschuldet sein: Der Artikel reflektiert derzeitige Verfahren der Forschungsförderung sehr kritisch und diskutiert neue, experimentelle Alternativen. In einer Wissenschaftswelt, die am Tropf der Drittelmittelgeber hängt, ist es vielleicht nicht zu erwarten, dass ein kontroverser Artikel zur Praxis der Geldgeber mit Zitationen bedacht wird. Topsy weist keinen Treffer für das Dokument nach, weder bei einer Suche nach dem Titel, der URL oder dem DOI. Twitter findet bei einer Titel-Suche drei Treffer, keinen bei einer DOI- oder URL-Suche. Impactstory weist allerdings neun Tweets aus, klicke ich auf das Twitter-Icon in der detaillierten Ansicht des Artikels bei Impactstory gelange ich zum Anbieter altmetric.com, von dem Impactstory die Twitter-Daten bezieht. Überraschenderweise erwähnt altmetric.com aber nur acht Tweets auf den Artikel und nicht neun wie Impactstory. Als MUC-Wert gibt Impactstory zwei Mendeley-Nutzer an, die den Artikel in ihrer Bibliothek vorhalten, altmetric.com hingegen einen einzigen. Bedauerlicher Weise sind beide Werte falsch: Mendeley selbst weist fünf Vorkommen in Nutzerbibliotheken nach. Impactstory und altmetric.com geben eine Wikipedia-Referenz auf den Text an. Tatsächlich wird er aus der englischsprachigen Wikipedia sowie der deutschsprachigen zitiert. Vermutlich werten die Dienste nur die englischsprachige Wikipedia aus, mit Sicherheit kann ich das nicht sagen. Allerdings denke ich nicht, dass sich Impactstory und altmetric.com die Mühe machen zu prüfen, ob Referenzen aus verschiedenen Wikipedia-Lokalisierungen aus Artikeln zum gleichen Thema stammen oder aus Artikeln zu unterschiedlichen Themen. Im ersten Fall wäre es womöglich sinnvoll zwei Referenzen als einen Impact-Event zu werten, im zweiten Fall sollte man wohl von zwei Events ausgehen.nn - n
Herb, Ulrich (2014). Total numbers and shares of Open Access Journals using Creative Commons Licenses as listed by the Directory of Open Access Journals. Zenodo. doi:10.5281/zenodo.8327
n
nHierbei handelt es sich um Daten, die ich während der Arbeit an meiner Dissertation gewann und über die ich ein Blog-Posting schrieb. Während ich den Artikel, den ich im vorherigen Absatz erwähnte, sehr gut finde, er aber wenig Aufmerksamkeit erhält, verhält es sich mit diesen Daten exakt umgekehrt: Ihr Gehalt ist meiner Meinung nach an Banalität kaum zu überbieten, dennoch war das Echo auf Posting und Datendeposit groß. Aus diesem Grund fügte ich sie auch zu den Selected Works hinzu: Anscheinend sehen andere einen Nutzen in den Daten, den ich nicht sehe. Impactstory weist für die Daten keine Tweets nach, altmetric.com hingegen 38. Topsy liefert keine Treffer, weder für eine Titel-Suche ohne Stopwords, noch für DOI- oder URL-Suche. Twitter liefert zwei Treffer für eine Titel-Suche ohne Stopwords, vier Treffer für eine URL-Suche, keinen Treffer bei einer DOI-Suche. Impactstory weist keinen MUC aus, altmetric.com hingegen einen, was sich mit den Mendeley-Informationen deckt. Die Daten finden keine Erwähnung in Wikipedia, folglich können auch keine Angaben zu Referenzen aus der Enzyklopädie überprüft werden. - n
nnHerb, Ulrich (2013). Szientometrie 2.0: Zitate, Nutzung, Social Media Impact – Gütekriterien oder Messung des leicht Messbaren?nOnline: http://de.slideshare.net/uherb/2013-0208vdbkarlsruhennDiesen Vortrag hielt ich anlässlich einer Veranstaltung des Vereins Deutscher Bibliothekare (VDB) sowie des Berufsverbandes Information Bibliothek (BIB), Landesgruppe Baden-Württemberg, am KIT in Karlsruhe. Kurz nach der Veranstaltung stellte ich die Folien über die Plattform slideshare bereit. Impactstory gibt für die Folien neun Slideshare-Downloads, vier Slideshare-Favourites (sprich: vier Nutzer markierten die Präsenation als Favorit) und 760 Slideshare-Views (sprich: die Folien wurden 760 Mal in Slideshare betrachtet) aus. Die Angaben stimmen im Wesentlichen mit den Werten, die Slideshare selbst ausgibt, überein, nur bei den Views nennt Slideshare eine höhere Zahl, 761. Diese Diskrepanz dürfte aber bei der nächsten Aktualisierung der Impactstory-Daten behoben sein. Tweets wurden von Impactstory nicht nachgewiesen, ebenso wenig von Topsy (für eine Titel- und URL-Suche), Twitter selbst wies bei einer URL- und Titel-Suche einen Tweet (wie ich gestehen muss, meinen eigenen) mit vier Retweets und zwei Favorisierungen nach. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.nn
- n
nnHerb, Ulrich (2014). Predatory Publishing & Open Access: Verdirbt Geld die Wissenschaftskommunikation?nOnline: http://www.slideshare.net/uherb/2014-0318dpgherb-32450408nnEs handelt sich hierbei um einen weiteren Vortrag, diesen hielt ich anlässlich der 78. Jahrestagung der Deutschen Physikalischen Gesellschaft DPG in Berlin. Er findet sich unter den Selected Works, weil ich ihn für gut halte und weil es eine große Freude war, ihn zu halten – was vorrangig am immens interessierten und diskutierfreudigen Publikum lag. Genau wie im vorher erwähnten Fall stellte ich den Vortrag via Slideshare bereit. Laut Impactstory weist er in Slideshare 1.143 Views und fünf Downloads auf; beides deckt sich ungefähr mit den Slideshare-Informationen (1.144 bzw. fünf). Impactstory und Topsy weisen keine Tweets auf die Präsentation nach, Twitter selbst zwei. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.nn
n
n
n
n
n
nMein Fazit fällt recht düster aus: Für meine Selected Works gelingt es Impactstory bei keinem der Items Impact-Werte exakt zu ermitteln. Impactstory erfasst Daten, zumindest für die Selected Works meines Profils, ungeheuer unvollständig. Auch werden anscheinend mitunter verschiedene Datenquellen für den selben Parameter genutzt: In der Regel wird die Anzahl der Tweets offensichtlich über Topsy bezogen (dies deckt sich mit Informationen, die ich über Impactstroy habe), teils aber, z.B. bei Item zwei, von altmetric.com. Jedoch scheint es auch nicht so, dass Impactstory immer Daten von altmetric.com nutzt, wenn altmetric.com diese anbietet: Zu Item drei kennt altmetric.com Daten, diese nutzt Impactstory aber nicht. Werden die Daten von altmetric.com übernommen, können sie aber (wie bei Item zwei) in Impactstory von den Werten in altmetric.com abweichen. Überdies war Topsy als Datenquelle völlig untauglich: Es konnten keine Tweets (weder über Titel- oder DOI- noch URL-Suche) gefunden werden, wohingegen Twitter selbst Werte für die Items lieferte. Auch die Anzahl der Wikipedia-Referenzen wurde in Impactstory falsch erfasst. Ähnlich verhält es sich mit den MUCs: Es gelingt Impactstory nicht, das Vorkommen der Items in Mendeley-Bibliotheken zu beschreiben. Hier patzt auch altmetric.com, das für Item zwei ebenfalls einen zu niedrigen Wert ausgibt. Allgemein könnte die falsche Erfassung zum Teil damit zu erklären sein, dass Impactstory Impact-Events vorrangig über das Auftauchen von DOIs zu ermitteln versucht. Allerdings ist nicht anzunehmen, dass Item eins in keiner der 74 Mendeley-Nutzerbibliotheken unter Erwähnung der DOI gespeichert wurde. Zumindest in meiner eigenen Mendeley-Bibliothek findet sich der Artikel unter Erwähung der DOI. Folglich sind die fehlerhaften Zahlen kaum alleine durch die mangelnde Nutzung von DOIs in Referenzdatensätzen zu erklären. Aber selbst wenn die Erfassung des Impacts über die DOI exakt wäre, hätte die Fokussierung auf die DOI fatale Folgen, unter anderem für Texte, die keine DOI kennen, weil sie nicht elektronisch vorliegen, oder für Werke, die zwar elektronisch vorliegen, aber nicht mit einer DOI versehen werden. Zweites dürfte vor allem Publikationen aus kleineren Verlagen betreffen, wie man sie häufig in Sozial- und Geisteswissenschaften findet. Eine der unbestritten wichtigsten Zeitschriften der deutschsprachigen Soziologie, die Zeitschrift für Soziologie ZfS, etwa nutzt keine DOIs für Artikel. Für solche Artikel können Altmetrics-Dienste, die Resonanz über DOI-Parsing erfassen wollen, niemals Impact-Werte ermitteln, egal wie wertvoll ein Werk ist.
This content is licensed under a Creative Commons Attribution 4.0 International license.
Graduate sociologist, information scientist (PhD degree), associate of scidecode science consulting – De Castro, Herb, Rothfritz GbR, working for the Saarland University and State Library (Germany)