Indexierungsfehler im Social Science Citation Index, ein Interview mit Terje Tüür-Fröhlich

letters photo
Photo by limbte

Bereits vor circa einem halben Jahr wies ich in diesem Blog auf Terje Tüür-Fröhlichs Dissertation über Indexierungsfehler in Zitationsdatenbanken im Allgemeinen und dem Social Science Citation Index (SSCI) im Speziellen hin. In telepolis erschien nun ein Interview mit der Autorin, das einen Einblick in ihre Dissertation The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation und die Relevanz der Indexierungsfehler für die Evaluierung von Wissenschaft gibt.

Hier der Link zum Interview in telepolis: „Auch Bourdieu ist ein Indexierungsopfer.“ Wissenschaftsforscherin Terje Tüür-Fröhlich über Wissenschaftsevaluierung und fehlerhafte Zitationsdatenbanken, https://www.heise.de/tp/features/Auch-Pierre-Bourdieu-ist-ein-Indexierungsopfer-3727711.html

Journal zahlt Autoren für Zitate ihrer Artikel

Jeffrey Beall, dessen Pauschalisierungen zu Predatory Open Access ich nicht teile und dessen Injurien gegen integre Open-Access-Journale mich oft stören, liefert in seinem Blog Scholarly Open Access immer wieder Hinweise auf Auswüchse im wissenschaftlichen Publikationswesen. Das International Journal of Emerging Technology and Advanced Engineering (IJETAE) ist nun Thema eines Beall-Postings.

Vorab: Das Journal nutzt Article Processing Charges (APCs) als Einnahmequelle, für die Publikation eines zehnseitigen Artikels werden 170 US-Dollar fällig. Die Issues erscheinen in kurzen Intervallen, nämlich im Monatsabstand, und sind prall gefüllt – Issue 9 des Volume 6 umfasst 54 Artikel.

Beall verweist jedoch auf ein anderes Merkmal, welches das IJETAE meiner Kenntnis nach von anderen Journalen abhebt: Es zahlt seinen Autoren Geld für Zitationen auf ihre IJETAE-Artikel. Er zitiert als Beleg aus einer Mail, die das Journal an potentielle Autoren schickte:

All published articles from  September 2016 onwards will be applicable for “Research Paper Royalty Scheme” in which  corresponding author will get a reimbursement of 100 USD/6000 INR if his/her paper is cited by any 20 researchers in any reputed International Journal/Conferences in a year. If you are confident about your Research work then IJETAE will be honoured to appreciate it. Author can also keep track on Citation Count using Google Scholar.

Ich muss anmerken, dass die Google-Suche nach einzelnen Phrasen der Mail mich nicht zu Archiven von Mailinglisten führte, in denen ich den Inhalt der Mail verifizieren konnte. Allerdings finden sich in einem anderen Blog gleichfalls Nachrichten über diese Mails. Da derartige Informationen in der Regel direkt an Wissenschaftler gehen und nicht über Listen versendet werden, scheinen die Schilderungen über die in Aussicht gestellte Belohnung nicht zweifelhaft.

Von der Homepage des International Journal of Emerging Technology and Advanced Engineering
Von der Homepage des International Journal of Emerging Technology and Advanced Engineering

Warum nun die Entlohnung? Zwar schmückt sich das IJETAE mit einem Fake Impact Factor, auch auf der Grafik zu sehen, ein echter Journal Impact Factor (JIF) dürfte dennoch perspektivisch lukrativer sein. Da die Aufnahme eines Journals in das Web of Science (WoS), anhand dessen der Original-JIF berechnet wird, maßgeblich von Zitationszahlen abhängt, könnte man die Strategie verfolgen durch hohe Zitationszahlen den Weg ins WoS zu finden. Die Aufnahme in WoS hängt zwar auch von anderen Kriterien ab, aber die ließen sich mit ein bisschen Kosmetik womöglich auch noch erfüllen. Der Verweis auf Google Scholar legt auch die Vermutung nahe, man wolle durch gesteigerte Zitationszahlen in den Fächer-Rankings Google Scholars steigen.

Egal, ob das Ziel die Aufnahme ins WoS oder die höhere Position im Google Scholar Ranking ist – beides würde das IJETAE für Autoren attraktiver machen, damit zugleich zahlungsfreudiger und bereit höhere Gebühren zu zahlen.

Publikationshinweis: „The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation“

In der Schriftenreihe Schriften zur Informationswissenschaft des Hochschulverbandes Informationswissenschaft ist die Dissertation meiner Kollegin Terje Tüür–Fröhlich erschienen, das Inhaltverzeichnis kann hier eingesehen werden.

Abstract:

“Thomson Reuters’ citation indexes i.e. SCI, SSCI and AHCI are said to be “authoritative”. Due to the huge influence of these databases on global academic evaluation of productivity and impact, Terje Tüür-Fröhlich decided to conduct case studies on the data quality of Social Sciences Citation Index (SSCI) records. Tüür-Fröhlich investigated articles from social science and law. The main findings: SSCI records contain tremendous amounts of “trivial errors”, not only misspellings and typos as previously mentioned in bibliometrics and scientometrics literature. But Tüür-Fröhlich’s research documented fatal errors which have not been mentioned in the scientometrics literature yet at all. Tüür-Fröhlich found more than 80 fatal mutations and mutilations of Pierre Bourdieu (e.g. “Atkinson” or “Pierre, B. and “Pierri, B.”). SSCI even generated zombie references (phantom authors and works) by data fields’ confusion – a deadly sin for a database producer – as fragments of Patent Laws were indexed as fictional author surnames/initials. Additionally, horrific OCR-errors (e.g. “nuxure” instead of “Nature” as journal title) were identified. Tüür-Fröhlich´s extensive quantitative case study of an article of the Harvard Law Review resulted in a devastating finding: only 1% of all correct references from the original article were indexed by SSCI without any mistake or error. Many scientific communication experts and database providers’ believe that errors in databanks are of less importance: There are many errors, yes – but they would counterbalance each other, errors would not result in citation losses and would not bear any effect on retrieval and evaluation outcomes. Terje Tüür-Fröhlich claims the contrary: errors and inconsistencies are not evenly distributed but linked with languages biases and publication cultures.”

Tüür–Fröhlich, Terje (2016): The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Preface: Volker Gadenne. Schriften zur Informationswissenschaft; Bd. 69. Glückstadt/D: vwh. ISBN-10: 3864881048; ISBN-13: 978-3864881046

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Ebenfalls erschienen im Newsletter budrich @cademic (budrich intern) 09/2012

Wer wissenschaftlich publizieren will, wählt den Publikationsort, den Verlag oder die Fachzeitschrift mit Bedacht. Neben inhaltlich-fachlichen Aspekten sind meist Fragen der Qualität des Publikationsortes für die Entscheidung auschlaggebend. Die Qualität wissenschaftlicher Publikationen zu messen ist leider nicht so einfach, wie es auf den ersten Blick scheint. Dennoch blüht in Zeiten von leistungsorientierter Mittelvergabe und Hochschulevaluierungen das Geschäft mit Zitationsinformationen, wird doch weithin angenommen, Zitate wären ein Indikator für die Qualität wissenschaftlicher Leistungen.

 

Zitate und die Qualität wissenschaftlicher Zeitschriften

So wird zum Beispiel vielfach der Journal Impact Factor (JIF) als Kennziffer für die Qualität wissenschaftlicher Zeitschriften interpretiert. Er dividiert die Zahl der Zitate im laufenden Jahr auf Artikel eines Journals der vergangenen zwei Jahre durch die Zahl der Artikel des Journals der vergangenen zwei Jahre. Vereinfacht: Er gibt die Zitationsrate einer Fachzeitschrift innerhalb eines Zweijahresfensters an. Schon das Zeitfenster ist delikat: Der Parameter verhindert einen hohen JIF-Wert für Zeitschriften aus Disziplinen, in denen die Zitationen über viele Jahre recht gleich verteilt sind oder sehr spät ansteigen (wie Sozialwissenschaften, Geisteswissenschaften oder Mathematik) und bevorzugt Zeitschriften aus den Naturwissenschaften und der Medizin, in denen Artikel meist innerhalb kurzer Zeit nach Publikation sehr häufig zitiert werden. Zudem ist die Datenbasis, aus der der JIF berechnet wird, recht willkürlich gestaltet: Zugrunde liegt die Datenbank Journal Citation Reports (JCR), in der längst nicht alle Fachzeitschriften enthalten sind und ausgewertet werden. Schlimmer noch: JCR und JIF schließen komplette Dokumentgattungen, wie Konferenzberichte oder Monographien, aus, auch wenn diese je nach Fach einen höheren Stellenwert für die interne Wissenschaftskommunikation haben als es bei Zeitschriften der Fall ist. Zudem weisen beide einen deutlichen Sprachbias zugunsten englischsprachiger Fachzeitschriften auf, Zeitschriften in anderen Sprachen haben einen niedrigeren JIF, da sie im Sample unterrepräsentiert sind. Zuguterletzt bezieht sich der JIF auf Fachzeitschriften, nicht Artikel: Meist führt aber eine geringe Anzahl sehr häufig zitierter Artikel zu einem hohen Wert für die Zeitschrift, mehrere Studien belegen Verteilungen von 70:30 oder 80:20 zwischen selten und häufig zitierten Artikeln. Dennoch wird bei Evaluierungsverfahren meist nur der JIF-Wert der Fachzeitschriften erfasst und nicht die Häufigkeit, mit der einzelne Artikel eines Wissenschaftlers in einer Zeitschrift zitiert wurden – die erwähnten Verteilungen zwischen viel und selten zitierten Artikeln legen daher den Eindruck nahe, dass man bei einem solchem Vorgehen mit einem eigenen kaum zitierten Artikel von den high-cited Papers weniger Kollegen profitieren dürfte. Vor diesem Hintergrund fällt es überdies schwer zu behaupten eine Fachzeitschrift habe als Ganzes wegen eines hohen JIF-Wertes Qualität, dieser Wert lässt einzig die Aussage zu, dass sie meist wenige Artikel publiziert, die häufig zitiert werden.

Die Folge: Artefakte in der Wissenschaft

Trotz dieser und anderer Mängel ist der JIF eine soziale Tatsache, er beeinflusst Handlungen und Haltungen, vor allem weil er nicht unerheblicher Faktor bei der Evaluierung wissenschaftlicher Leistung ist. Er provoziert damit Verhaltensweisen, die ohne seine Existenz ausblieben, Artefakte, die zudem nicht selten dysfunktionaler Art sind. Informatikern in den USA etwa wird von Fachgesellschaften geraten, in Zukunft in Fachzeitschriften und nicht wie sie es traditionell tun, in Konferenzbänden zu publizieren. Bislang bevorzugen Informatiker Veröffentlichungen in Konferenzbänden, da die Zeitspanne zwischen Einreichung und Publikation in den meisten Fachzeitschriften für ihre schnelllebigen Erkenntnisse zu groß ist. Befolgen sie nun die Vorschläge der Fachgesellschaften, werfen die damit die fachadäquate Publikationskultur über Bord, werden aber bei Evaluierungen besser abschneiden, da Konferenzbände wie erwähnt per definitionem keinen JIF-Wert haben können.

Der Fetisch um den JIF führt, so Alfred Kieser, zur Tonnenideologie der Forschung, die oft einzig auf die Generierung einer möglichst hohen Zahl an Zitationen zielt und dem planwirtschaftlerischen Irrglauben erliegt eine hohe Quantität an Zitation beweise eine hohe Leistungsfähigkeit. Dieser Trugschluss führt zu grotesken Strategien, teils werben Fachbereiche und Hochschulen vielzitierte Wissenschaftler an, um kurzfristig bessere Rankingpositionen oder Evaluierungsergebnisse zu erreichen. Journalherausgeber und Verlage finden auch Gefallen am Frisieren des leicht manipulierbaren JIF, es kursieren wahre Anleitungen mit erstaunlich einfachen Tricks dazu. Da Reviews im Zähler der JIF-Division berücksichtigt werden, nicht aber im Nenner, führt z.B. eine Erhöhung der Anzahl an Reviews unweigerlich zu einem höheren JIF, immer wieder werden Autoren auch dazu angehalten, die publizierende Fachzeitschrift zu zitieren, in manchen Fällen werden sie dafür sogar mit Jahresabos der Zeitschrift belohnt.

Der dominante Akteur im Geschäft mit Zitationsinformationen ist der Konzern Thomson Scientific, der neben den erwähnten Journal Citation Reports (und dem JIF) sowie dem Social Science Citation Index (SSCI) neuerdings auch den Book Citation Index und den Data Citation Index auflegt. In Zeiten leistungsorientierter Mittelvergabe und Hochschulevaluierung steigt das Interesse an Zitationsdaten, dabei wurde nie methodisch sauber evaluiert und belegt, ob Zitationen Qualität ausdrücken und nicht vielleicht eher Popularität oder Relevanz.
Warum macht ein Wissenschaftler eigentlich Karriere?

Von dieser Unschärfe ist aber nicht nur der JIF betroffen, sondern auch andere zitationsbasierte Metriken wie etwa der Hirsch- oder h-Index, dessen Formel wie folgt lautet: Ein Autor hat einen Index h, wenn h von seinen insgesamt N Veröffentlichungen mindestens jeweils h Zitierungen haben und die anderen (N-h) Publikationen weniger als h Zitierungen. Ein Autor hat demnach einen h-Index von 8, wenn er 8 Schriften veröffentlicht hat, die jeweils mindestens 8 Mal zitiert worden sind. Der h-Index ist so etwas wie der Shooting-Star der Impact-Maße, sehen doch nicht wenige in ihm ein Maß für die Qualität eines Forschers und die soll ja unter anderem für Beförderungen maßgeblich sein. Allerdings kamen Jensen, Rouquier und Croissant 2008 zu einem anderen Schluss: Sie untersuchten den statistischen Zusammenhang zwischen den Werten verschiedener zitationsbasierter Metriken (darunter JIF der Fachzeitschriften, in denen man publizierte, h-Index und eine Vielzahl anderer Maße) für einzelne Forscher an der angesehenen französischen Forschungseinrichtung Centre national de la recherche scientifique (CNRS) und der Häufigkeit mit der diese Forscher befördert wurden. Von den untersuchten Verfahren war der h-Index am besten geeignet, Beförderungen am CNRS zu erklären, allerdings nur in 48% der Fälle. Kurzum: Auch das genauste Maß konnte in mehr als der Hälfte der Fälle Beförderungen nicht vorhersagen.

Qualität: Ein mehrdimensionales Konstrukt?

Was bleibt sind viele Fragen: Misst der h-Index doch die Qualität eines Forschers, auch wenn er Beförderungen nicht vorhersagen kann, weil für diese andere Faktoren als die rein wissenschaftliche Qualität ausschlaggebend sind? Oder war für die Beförderungen am CNRS doch Qualität verantwortlich und h-Index, JIF und Co. messen gar keine Qualität, sondern Popularität oder eine völlig andere Dimension? Johan Bollen beschrieb Qualität in der Wissenschaft 2009 als mehrdimensionales Konstrukt, das nicht durch eine einzige Metrik oder Zahl beschrieben werden könne und fügt bezüglich des JIF an, dieser sage wenig über Qualität aus. Wer Qualität messen will, muss dazu demnach ein ganzes Set an Eigenschaften erheben und ausgeklügelt in Relation zueinander setzen. Eine dieser Eigenschaften sind Zitationswerte, auch wenn diese laut Bollen für das Konstrukt Qualität weniger ausschlaggebend sind als andere Eigenschaften. JIF und h-Index hingegen begnügen sich letztlich mit dem „Messen des leicht Messbaren„, wie Gerhard Fröhlich 1999 feststellte. Man könnte noch weitergehen und fragen, ob Qualität nicht zudem individuell definiert wird. Wenn man das tut, müsste auch jeder Leser wissenschaftlicher Literatur in autonomer und souveräner Art für sich entscheiden, welche Texte und Artikel für ihn Qualität haben und welche nicht und dabei nicht auf einen kruden Zitationswert schielen, sondern auf das Urteil von Experten und Kollegen vertrauen – und nicht zuletzt auch auf das eigene.

Literatur:

Bollen, J., Van De Sompel, H., Hagberg, A., & Chute, R. (2009). A principal component analysis of 39 scientific impact measures. PloS one, 4(6), e6022. doi:10.1371/journal.pone.0006022http://www.plosone.org/article/info:doi/10.1371/journal.pone.0006022

Fröhlich, G. (1999). Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In J. Becker & W. Göhring (Eds.), Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft (pp. 27–38). GMD- Forschungszentrum Informationstechnik GmbH. http://eprints.rclis.org/archive/00008982/

Herb, U. (2012). Pimp my Impact Factor. Telepolis, (06.02.2012). http://www.heise.de/tp/blogs/10/151361

Jensen, P., Rouquier, J.-B., & Croissant, Y. (2008). Testing bibliometric indicators by their prediction of scientists promotions. Scientometrics, 78(3), 467–479. http://www.springerlink.com/content/u4467542442h1544doi:10.1007/s11192-007-2014-3

Kieser, A. (2010). Die Tonnenideologie der Forschung. Frankfurter Allgemeine Zeitung, (130), N5. http://www.faz.net/aktuell/feuilleton/forschung-und-lehre/akademische-rankings-die-tonnenideologie-der-forschung-1997844.html

 

Open Access, Zitationen, Finanzierungsmodelle, oder: Wohin führt der Weg?

Einer von Bo-Christer Björk und David Solomon unter dem Titel Open access versus subscription journals:  a comparison of scientific impact publizierten Studie zufolge erreichen Open Access Publikationen in der Medizin ähnliche Zitationshäufigkeiten wie ihre Closed Access Verwandten. Dies widerspricht etwas den Ergebnissen anderer Studien, die in der Regel (und für sehr unterschiedliche Fächer) erhöhte Zitationen für offen zugängliche Publikationen nachweisen. Interessanterweise finden sich in der Björk/Solomon-Studie Hinweise drauf, dass Open Access Journale, deren Finanzierungsmodell auf Autorengebühren basiert, häufiger zitiert werden als solche, die auf diese Zahlungen verzichten.

Über die widersprüchlichen Zitationsbefunde zwischen der Björk/Solomon-Erhebung und anderen Untersuchungen sowie die aktuellen Diskussionen um Green Road Open Access,  der auf Zweitpublikationen in Repositories setzt, und Golden Road Open Access, der originäre Open Access Publikationen hervorbringt und in manchen Fällen auf Autorenzahlungen basiert, sowie die Auswirkungen der Diskussionen auf Geschäftsmodelle von Wissenschaftsverlagen infomiert der Telepolis-Artikel Wechen Weg geht der Open Access? unter http://www.heise.de/tp/blogs/10/152469.

 

Bibliographische Angaben zur Studie:

Björk, B.-C., & Solomon, D. (2012). Open access versus subscription journals: a comparison of scientific impact. BMC Medicine10(1), 73. doi:10.1186/1741-7015-10-73http://www.biomedcentral.com/1741-7015/10/73

 

Alte Kommentare

Hans Dieter Zimmermann:

Ein interessanter Beitrag und interessante Ergebnisse von Björk und Solomon. Und nicht das wir uns falsch verstehen, ich bin für Open Access, aber ich bin auch für eine differenzierte Diskussion zum Thema.

Leider zeigt sich in dem Beitrag die sehr polarisierende Sicht auf das Thema Open Access – z.B. wenn der Auto von „Closed Access“ spricht. Warum? Ganz einfach, weil der Zugang zu wissenschaftlichen Zeitschriften für die Mehrheit der Forschenden, Lehrenden, Doktornden und Studierenden faktisch gar nicht ‚closed‘ ist und der Begriff somit etwas suggeriert, was nicht den Tatsachen der täglichen Praxis entspricht. Wer an einer wissenschaftlichen Einrichtung wie einer Hochschule studiert oder lehrt oder forscht, hat in aller Regel Zugang zu den relevanten Quellen; als Mitglied einer Scientific Community habe ich in aller Regel Zugang zu den entsprechenden Ressourcen.
Der Herausgeber des CACM hat in diesem Context einmal den Begriff „Clopen“ – eine Kombination von Closed und Open – formuliert, ich habe meine Gedanken dazu hier formuliert.

Das Open Access auch eine (gesellschafts- und wissenschafts-) politische und ökonomische Diskussion ist, ist mir sehr bewusst.

 

Ulrich Herb:

Lieber Herr Zimmermann,

vielen Dank für Ihren Kommentar. Ich sehe keinen grundsätzlichen Dissens zwischen unseren Perspektiven. Allerdings finde ich, dass es bestimmt auch an zahlreichen Hochschulen viele Forschende und Lehrende gibt, die keinen Zugriff auf *alle* relevanten Informationen haben. Closed bezieht sich für mich (das ging im Artikel unter) allerdings auch auf die Weiterverwendungsmöglichkeiten: Publikationen aus Subskriptionsangeboten darf ich nur runterladen und ausdrucken, CC-BY- oder CC-BY-SA-lizenzierte Open-Access-Werke (der Idealfall des Open Access) erlauben mir jede erdenkliche Weiterverwendung unter Wahrung der Nennung des Urhebers. Vielleicht ist dies sogar die grundlegendere Trennung zwischen „Open“ und „Closed“ und nicht der Finanzierungsmodus. Was Publikationen aus dem Subskriptionssektor aber auch „Closed“ macht, ist unkomfortabler Zugang: Oft stimmt der beim Verlag hinterlegte IP-Range nicht und man kann bezahlte Dokumente nicht abrufen, man muss sich einloggen oder erst prüfen, ob man Zugang hat – das alles entfällt im Open Access. JISC ermittelte mal die Kosten, die durch Subskription *und* den erschwerten Zugang zu subskribierten Publikationen entstehen, und setzte sie zu Open Access in Relation, dazu aus der Pressemitteilung: „The UK public sector spends £135 million a year, made up of subscriptions and time spent trying to find articles, accessing the journal papers it needs to perform effectively. Each extra 5% of journal papers accessed via open access on the web would save the public purse £1.7 million, even if no subscription fees were to be saved.“ http://www.jisc.ac.uk/news/stories/2012/04/openaccess.aspx

 

 

Negativer Zusammenhang zwischen Impact Factor und Reliabilität?

Reliabilität ist neben Validität und Objektivität eines der drei Gütekriterien wissenschaftlicher Forschung. Sie gibt, so die deutschsprachige Wikipedia korrekt, Auskunft über die „formale Genauigkeit bzw. Verlässlichkeit“ (http://de.wikipedia.org/wiki/Reliabilität) einer wissenschaftlichen Untersuchung. Bei völlig reliablen Studien würde im Fall einer Wiederholung der Untersuchung das exakt gleiche Ergebnis erzielt. Validität informiert über die Genauigkeit oder Gültigkeit der Messung und darüber, inwiefern eine Anordnung oder ein Erhebungsinstrument die Eigenschaft misst, die sie/es messen soll. Objektivität bezeichnet – verkürzt gesagt – das Ausmaß der Unabhängigkeit der Messergebnisse vom Erhebungskontext.

Munafò, Stothart & Flint untersuchten (eingeschränkt auf Publikationen aus dem thematischen Kontext der genetic associations) den Zusammenhang zwischen der Höhe des Journal Impact Factors (JIF) einer wissenschaftlichen Zeitschrift und der Reliabilität der darin publizierten Forschungsergebnisse.  Sie kommen in einem Nature-Beitrag (nicht Open Access erhältlich) zu dem Schluss, dass Untersuchungen (aus dem erwähnten Themenfeld)  umso eher Zusammenhänge/ Effekte statistisch überschätzen, je höher der JIF des publizierenden Journals ist. Als Ursache machen die Autoren einen besonderen Umstand und zweiten statistischen Zusammenhang aus: Je höher der JIF des publizierenden Journals, desto geringer die Stichprobe im publizierten Artikel. Geringe Stichproben bedeuten allerdings auch eine geringere statistische Aussagekraft empirischer Untersuchungen. Munafò, Stothart & Flint empfehlen daher: „Initial reports of genetic association published in journals with a high impact factor should therefore be treated with particular caution.“ Weiterhin sehen sie keinen Anlass zu glauben, dass der Zusammenhang nicht auch in anderen Themenfeldern bestehen könnte: „However, although we cannot necessarily generalize our findings to other research domains, there are no particular reasons to expect that genetic association studies are unique in this respect.“  Selbst wenn die hier beschriebene Untersuchung ebenfalls eine initial study ist, wirft sie die Frage auf, ob der JIF nicht vielleicht zum Produzieren spektakulärer Forschungsergebnisse verleitet und daher auch nicht Qualität misst, sondern eher Attraktion.

Vielen Dank an Daniel Mietchen, dessen Tweet auf ein Posting Björn Brembs mich erst auf den Artikel aufmerksam machte.

 

Literatur:

Munafo, M. R., Stothart, G., & Flint, J. (n.d.). Bias in genetic association studies and impact factor. Mol Psychiatry, 14(2), 119-120. Nature Publishing Group. Retrieved from http://dx.doi.org/10.1038/mp.2008.77