Google Scholar spaltet die Geister

Paul Wouters und Rodrigo Costas publizierten kürzlich für die niederländische SURFfoundation einen Bericht über neue Verfahren der wissenschaftlichen Impact Messung: Users, narcissism and control – tracking the impact of scholarly publications in the 21st century. Der Text stellt weniger eine Analyse von Altmetrics-Verfahren dar, sondern ist eher eine Art Marktübersicht und meiner Meinung nach auch gut geeignet, sich einen Überblick über die Entwicklungen auf dem Gebiet der alternativen Metriken zu verschaffen.nnDas Fazit der Autoren fällt für meinen Geschmack etwas zu sehr zu Ungunsten der alternativen metrischen Verfahren aus und etwas zu sehr zu Gunsten der traditionellen zitationsbasierten Metriken resp. der zu deren Ermittlung benutzten proprietären Datenbanken wie Web of Science WoS, Journal Citation Reports JCR oder Scopus. Die Mängel dieser Datenbanken und Metriken sind an anderen Stellen hinreichend beschrieben (z.B. hier). Eigentlich wäre mir das Thema derzeit nicht so wichtig eigens einen Blog-Beitrag zu dieser Thematik zu verfassen, wäre ich in Google+ nicht über Björn Brembs auf einen kurzen Artikel Jason Snyders gestoßen, der vieles von dem thematisiert, was meiner Meinung nach den Charme Google Scholars ausmacht und mir zugleich die konservative Einschätzung von Wouters und Costas vergegenwärtigte.nnAls Mängel nennen Wouters & Costas (S. 17-19) u.a.n

n
• Unklare Zusammensetzung des Index („Lack of transparency on the coverage and it is not clear if they follow a systematic coverage“)

n

• Die fehlende Reinheit des Index („Coverage of documents that are not purely academic or scientific: library guides, text books, teaching materials, etc.“)

n

• Fehlende Qualitätskontrolle des indizierten Materials sowie fehlende Kontextinformationen (etwa darüber, ob Content peer reviewed ist oder nicht) und fehlende Selektionsmöglichkeiten bei der Suche

n

• Mangelhafte Abdeckung von Journalen aus den Geistes- und Sozialwissenschaften

n

• Begrenzte Suchoptionen

n

• Kein Resortierung der Ergebnislisten möglich

n

• Import der Ergebnisse in Literaturverwaltungssoftware ist nur pro einzelnem Treffer möglich

n

• Datensätze erscheinen als Dublette

n

• Keine Suche nach zitierten Dokumente möglich

n

• Fehlen von APIs

n

• Dokumenttyp des Datensatzes/ Treffers wird nicht angezeigt (Ausnahme: Bücher)

n

• Keine Verfügbarkeit normailisierter Indikatoren (z.B. über Einbeziehung der fachtypischen Zitationsraten)

n

• Flüchtigkeit des Indexes

n

• Im Wesentlichen fehlende Fachzuordnung von Dokumenten (daher auch kein Browsing oder eine fachliche Suche)

n

• Keine Exklusion von Self-Citations

n

nRelativierend möchte ich einwenden, dass auch die Kriterien, nach denen Thomson Reuters oder Elsevier den Index ihrer Produkte bestücken, nicht objektiv sind und dass ich die Inklusion von Text Books und Teaching Materials in den Google Scholar Index verglichen mit dem Auschluss von Webliteratur, Büchern, Conference Proceedings und verschiedener anderer Dokumenttypen aus den genannten proprietären Datenbanken sehr begrüße. Zumal Google Scholar damit schon mal einen Vorteil verglichen mit WoS & Co hat: Die Suchmaschine berücksichtigt Blogs und andere wissenschaftliche Publikationen außerhalb klassischer Verlagsveröffentlichungen. Und auch was fehlende APIs, Flüchtigkeit des Index (Ross et. al. bewiesen die fehlende Reproduzierbarkeit in den Journal Citation Reports mehrmals, ich empfehle den unten velinkten Artikel Show me the data) und die fehlende Abdeckung der Geistes- und Sozialwissenschaften angeht finde ich, dass Google Scholar nicht wesentlich schlechter zu bewerten ist als WoS, Scopus und die JCR. Und ja: Dubletten und fehlerhafte Autorendisambiguierung sind mir in WoS auch schon untergekommen.nnSnyder berichtet in seinem oben erwähnten Posting sich sprunghaft ändernde Zitationszahlen im WoS (ähnliches wurde mir von befreundeten Wissenschaftlern bestätigt) und erwähnt, dass seine Zitationszahlen in Google Scholar höher als im WoS ausfallen. Was Wouters & Costas Scholar aber als Verunreinigung auslegen, empfindet Snyder (genau wie ich) als Vorteil: Scholar zählte unter anderem Zitationen aus chinesischen Artikeln, Buchkapiteln, Dissertationen, Patenten, Blogs und Anträgen auf Forschungsförderung mit ein und misst dabei Impact wesentlich umfassender als WoS, JCR oder Scopus, die nicht nur Dokumenttypen, sondern auch Sprachen diskriminieren. Alle der genannten Datenbanken indexieren bevorzugt englischsprachige Journale (die daher auch höhere Impact Scores erreichen als anderssprachige). Zusätzlich indiziert Google Scholar Dokumente, die noch nicht formal erschienen sind, aber bereits als Preprint online stehen und ermittelt deren ausgehende Zitationen. Nicht zu vergessen ist Google Scholar entgeltfrei nutzbar (wenn auch leider nicht offen) und bietet mit Google Citations Autorenprofile an, die ich bei der kostenpflichtigen Konkurrenz vergeblich suche. Kurzum: Man sollte sich von Google Scholar besser ein eigenes Bild machen, ich kann Wouters & Costas nur begrenzt zustimmen.nnNachtrag 07.03.2012: Nachdem ich Mails erhalten habe, die mich auf fehlerhafte Indexierungen Google Scholars hinwiesen, möchte ich klarstellen, dass mir diese Schwäche durchaus klar war und ist. In wisspub.net hatte ich dazu mal einen launigen Artikel. Dennoch hat meine in diesem Posting geäußerte Ansicht Bestand – auch wenn man sich selbstredend der Mängel Google Scholar bewusst sein sollte.nnLiteraturn

n

n

n

n

n

n

n

n

n

n

n

• Über
• Letzte Artikel

Ulrich Herb

Graduate sociologist, information scientist (PhD degree), working for the Saarland University and State Library (Germany), associate of scidecode science consulting – De Castro, Herb, Rothfritz GbR.

Letzte Artikel von Ulrich Herb (Alle anzeigen)

• scidecode continues to be scidecode, but scinoptica lives again - 9. Dezember 2022
• Update on the scidecode study on Persistent Identifiers (PIDs) - 22. Mai 2022
• Open Journal Systems (OJS) Installationen in Deutschland - 19. Mai 2022