Reliabilität ist neben Validität und Objektivität eines der drei Gütekriterien wissenschaftlicher Forschung. Sie gibt, so die deutschsprachige Wikipedia korrekt, Auskunft über die „formale Genauigkeit bzw. Verlässlichkeit“ (http://de.wikipedia.org/wiki/Reliabilität) einer wissenschaftlichen Untersuchung. Bei völlig reliablen Studien würde im Fall einer Wiederholung der Untersuchung das exakt gleiche Ergebnis erzielt. Validität informiert über die Genauigkeit oder Gültigkeit der Messung und darüber, inwiefern eine Anordnung oder ein Erhebungsinstrument die Eigenschaft misst, die sie/es messen soll. Objektivität bezeichnet – verkürzt gesagt – das Ausmaß der Unabhängigkeit der Messergebnisse vom Erhebungskontext.nnMunafò, Stothart & Flint untersuchten (eingeschränkt auf Publikationen aus dem thematischen Kontext der genetic associations) den Zusammenhang zwischen der Höhe des Journal Impact Factors (JIF) einer wissenschaftlichen Zeitschrift und der Reliabilität der darin publizierten Forschungsergebnisse. Sie kommen in einem Nature-Beitrag (nicht Open Access erhältlich) zu dem Schluss, dass Untersuchungen (aus dem erwähnten Themenfeld) umso eher Zusammenhänge/ Effekte statistisch überschätzen, je höher der JIF des publizierenden Journals ist. Als Ursache machen die Autoren einen besonderen Umstand und zweiten statistischen Zusammenhang aus: Je höher der JIF des publizierenden Journals, desto geringer die Stichprobe im publizierten Artikel. Geringe Stichproben bedeuten allerdings auch eine geringere statistische Aussagekraft empirischer Untersuchungen. Munafò, Stothart & Flint empfehlen daher: „Initial reports of genetic association published in journals with a high impact factor should therefore be treated with particular caution.“ Weiterhin sehen sie keinen Anlass zu glauben, dass der Zusammenhang nicht auch in anderen Themenfeldern bestehen könnte: „However, although we cannot necessarily generalize our findings to other research domains, there are no particular reasons to expect that genetic association studies are unique in this respect.“ Selbst wenn die hier beschriebene Untersuchung ebenfalls eine initial study ist, wirft sie die Frage auf, ob der JIF nicht vielleicht zum Produzieren spektakulärer Forschungsergebnisse verleitet und daher auch nicht Qualität misst, sondern eher Attraktion.nnVielen Dank an Daniel Mietchen, dessen Tweet auf ein Posting Björn Brembs mich erst auf den Artikel aufmerksam machte.nn nnLiteratur:nnMunafo, M. R., Stothart, G., & Flint, J. (n.d.). Bias in genetic association studies and impact factor. Mol Psychiatry, 14(2), 119-120. Nature Publishing Group. Retrieved from http://dx.doi.org/10.1038/mp.2008.77
- scidecode continues to be scidecode, but scinoptica lives again - 9. Dezember 2022
- Update on the scidecode study on Persistent Identifiers (PIDs) - 22. Mai 2022
- Open Journal Systems (OJS) Installationen in Deutschland - 19. Mai 2022
