Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Die Map of Scholarship der Eigenfactor-Macher

Vor knapp einer Woche berichtete Jennifer Howard im Chronicle of Higher Education von einer interessanten, auf Zitationsdaten basierenden Visualisierung der Wissenschaftslandschaft und bezeichnet diese als Map of Scholarship.

Die Karte, so Howard, helfe hot topics der Forschung ebenso zu identifizieren wie die unerforschten Nischen. Weiterhin könne das Tool genutzt werden, um relevante Informationen zu entdecken, die man bislang übersah, etwa weil sie in Journals erschienen, die auf der eigenen Leseliste fehlen. Last but not least ist es möglich, mittels der Daten Empfehlungsdienste aufzubauen, die Wissenschaftler von der Last der Recherche befreien und ihnen aktiv Literatur vorschlagen.

Der Service basiert auf den Auswertungen des Rankings Eigenfactor, zu dem es auch personelle Verbindungen gibt: Zwei der drei Schaffer der Map, namentlich Carl T. Bergstrom und Jevin D. West entwickelten 2007 das Journalranking, komplettiert werden sie nun durch Martin Rosvall.

Genau wie der Journal Impact Factor JIF versucht Eigenfactor, den Einfluss respektive die Wirkung eines Journals aus der Häufigkeit, mit der dieses Journal zitiert wird, abzuleiten. Das Zustandekommen eines Eigenfactor-Scores unterscheidet sich vom JIF-Score vor allem in folgender Hinsicht:

  • Scope: Während bei der Berechnung des JIF nur Zitationen berücksichtigt werden, die aus einer der 7.000 in der Datenbank Journal Citation Reports indexierten Zeitschrift stammen, wertet Eigenfactor Zitation aus mehr als 110.000 zusätzlichen Quellen aus.
  • Gewichtung: Während der JIF alle Zitationen, die auf eine Zeitschrift eingehen, gleich bewertet, haben für den Eigenfactor Zitationen aus häufig zitierten Zeitschriften einen höheren Wert als Zitationen, die aus selten zitierten Zeitschriften stammen.
  • Zeitfenster: Das JIF-Zeitfenster beträgt zwei Jahre, das des Eigenfactor fünf Jahre.
  • Selbstzitationen: Bei der Berechnung der JIF-Werte werden Selbstzitationen (Journal A zitiert Journal A) nicht eliminiert, beim Eigenfactor werden sie herausgerechnet.

Zudem können die Eigenfactorwerte im Unterschied zum JIF kostenlos recherchiert werden. Die Daten zur Erstellung dieser  Map of Scholarship stammen von Thomson Scientific (genauer: aus dessen Journal Citation Reports), Microsoft Academic Search, dem Social Science Research Network SSRN und JSTOR.

Bislang ist das Tool noch nicht freigegeben, dieser Schritt soll aber gegen Ende des Jahres nach intensiven Tests folgen. Gefördert wird das Vorhaben unter anderem von der National Science Foundation NSF, die ebenfalls Johan Bollen unterstützt. Die NSF will, das ist dem Bericht im Chronicle zu entnehmen, weitergehende szientometrische Analysen von Zitationsdaten und Nutzungsinformationen wissenschaftlicher Dokumente ermöglichen.Johan Bollen hat unter anderem im Projekt mesur nachgewiesen, dass Nutzungsmuster wissenschaftlicher Journals deren Impact besser abbilden können als Zitationen und er hat wunderschöne Visualierungen der Wissenschaftswelt (er nannte sie Map of Science), berechnet aus Nutzungsmustern wissenschaftlicher Journale, produziert:

 

Bollen, J., Van de Sompel, H., Hagberg, A., Bettencourt, L., Chute, R., Rodriguez, M. a, & Balakireva, L. (2009). Clickstream data yields high-resolution maps of science. PloS one, 4(3), e4803. doi:10.1371/journal.pone.0004803

Map of Science, aus Bollen et al. (2009)

 

 

Literatur:

Bollen, J., Van de Sompel, H., Hagberg, A., Bettencourt, L., Chute, R., Rodriguez, M. a, & Balakireva, L. (2009). Clickstream data yields high-resolution maps of science. PloS one, 4(3), e4803. doi:10.1371/journal.pone.0004803, online: http://www.plosone.org/article/info:doi/10.1371/journal.pone.0004803

Howard, J. (2011). Citation by Citation, New Maps Chart Hot Research and Scholarship’s Hidden Terrain. The Chronicle of Higher Education, (11. September). Online: http://chronicle.com/article/Maps-of-Citations-Uncover-New/128938/

Rosvall, M., & Bergstrom, C. T. (2010). Mapping change in large networks. PloS one, 5(1), e8694. doi:10.1371/journal.pone.0008694, online: http://www.plosone.org/article/info:doi/10.1371/journal.pone.0008694