Negativer Zusammenhang zwischen Impact Factor und Reliabilität?

Reliabilität ist neben Validität und Objektivität eines der drei Gütekriterien wissenschaftlicher Forschung. Sie gibt, so die deutschsprachige Wikipedia korrekt, Auskunft über die „formale Genauigkeit bzw. Verlässlichkeit“ (http://de.wikipedia.org/wiki/Reliabilität) einer wissenschaftlichen Untersuchung. Bei völlig reliablen Studien würde im Fall einer Wiederholung der Untersuchung das exakt gleiche Ergebnis erzielt. Validität informiert über die Genauigkeit oder Gültigkeit der Messung und darüber, inwiefern eine Anordnung oder ein Erhebungsinstrument die Eigenschaft misst, die sie/es messen soll. Objektivität bezeichnet – verkürzt gesagt – das Ausmaß der Unabhängigkeit der Messergebnisse vom Erhebungskontext.

Munafò, Stothart & Flint untersuchten (eingeschränkt auf Publikationen aus dem thematischen Kontext der genetic associations) den Zusammenhang zwischen der Höhe des Journal Impact Factors (JIF) einer wissenschaftlichen Zeitschrift und der Reliabilität der darin publizierten Forschungsergebnisse.  Sie kommen in einem Nature-Beitrag (nicht Open Access erhältlich) zu dem Schluss, dass Untersuchungen (aus dem erwähnten Themenfeld)  umso eher Zusammenhänge/ Effekte statistisch überschätzen, je höher der JIF des publizierenden Journals ist. Als Ursache machen die Autoren einen besonderen Umstand und zweiten statistischen Zusammenhang aus: Je höher der JIF des publizierenden Journals, desto geringer die Stichprobe im publizierten Artikel. Geringe Stichproben bedeuten allerdings auch eine geringere statistische Aussagekraft empirischer Untersuchungen. Munafò, Stothart & Flint empfehlen daher: „Initial reports of genetic association published in journals with a high impact factor should therefore be treated with particular caution.“ Weiterhin sehen sie keinen Anlass zu glauben, dass der Zusammenhang nicht auch in anderen Themenfeldern bestehen könnte: „However, although we cannot necessarily generalize our findings to other research domains, there are no particular reasons to expect that genetic association studies are unique in this respect.“  Selbst wenn die hier beschriebene Untersuchung ebenfalls eine initial study ist, wirft sie die Frage auf, ob der JIF nicht vielleicht zum Produzieren spektakulärer Forschungsergebnisse verleitet und daher auch nicht Qualität misst, sondern eher Attraktion.

Vielen Dank an Daniel Mietchen, dessen Tweet auf ein Posting Björn Brembs mich erst auf den Artikel aufmerksam machte.

 

Literatur:

Munafo, M. R., Stothart, G., & Flint, J. (n.d.). Bias in genetic association studies and impact factor. Mol Psychiatry, 14(2), 119-120. Nature Publishing Group. Retrieved from http://dx.doi.org/10.1038/mp.2008.77

CrossMark informiert über Versionierungen, Retractions, Korrekturen

Der bibliographische Linking-Service Crossref bietet demnächst einen höchst interessanten und längst überfälligen Service an: Mit CrossMark sollen Wissenschaftler leichter nachvollziehen können, ob ein Artikel ergänzt, aktualisiert, korrigiert oder zurückgezogen wurde. Die undurchsichtige und teils hartleibige Praxis der Verlage bei Fälschungs-/Manipulations-/Plagiatsfällen macht es für Wissenschaftler kaum ersichtlich, ob ein Artikel nicht schon längst inhaltlich beanstandet ist und ob man ihn im Licht dieses Zweifel besser nicht verwenden oder zitieren sollte. Kürzlich habe ich in Telepolis einen kleinen Beitrag über das Blog Retraction Watch verfasst, das Retractions wissenschaftlicher Artikel zu dokumentieren versucht, und darüber wie längst zurückgezogene Artikel in den wissenschaftlichen Diskurs eingehen, da kein Verzeichnis solcher Publikationen existiert. Die Retraction Watch Macher Ivan Oransky und Adam Marcus sinnieren nun in Nature (leider nicht Open Access) darüber, ob CrossMark als professionelle Registry für Artikel, deren Status sich ändert, das eigene Blog überflüssig machen könnte. Diese Möglichkeit besteht tatsächlich, denn das Konzept von CrossMark wirkt durchdacht. Allerdings ist mehr als fraglich, ob der Service offen oder zumindest entgeltfrei nutzbar sein wird. Sollte CrossMark nicht einmal entgeltfrei zugänglich sein, wäre der Nutzen äußerst beschränkt. Auf ein anderes Problem weisen Oransky & Adams im Nature-Artikel und einem kommentierenden Blog Post hin: Die Änderungen an den Dokumentinformationen, wie z.B. das Hinzufügen von neuen Correction Notes, unterliegt in CrossMark wohl keiner Peer Review.

Barcamp zu Bibliotheks- und Informationswissenschaft 2012 in Chur (CH)

 

Liebe Kolleginnen und Kollegen,

Weiterbildungen, Konferenzen, Tagungen, Arbeitsgruppen, Workshops, Meetings ­– Ziel der meisten dieser Veranstaltungen ist die Wissensvermittlung und der Austausch mit FachkollegInnen. Aber bieten diese Veranstaltungen immer genügend Zeit für Gespräche und Diskussionen und werden die für Sie relevanten Themen behandelt?
Beim Infocamp in Chur werden Sie genau die richtige Mischung bekommen! Die als „Unkonferenz“ organisierte Veranstaltung lebt von Ihnen und mit Ihnen. Es gibt keine BesucherInnen, nur TeilnehmerInnen! Sie gestalten das Programm aktiv mit und entscheiden selbst, wie Sie sich einbringen. Ziel ist es, eine Kommunikationsplattform für den Erfahrungsaustausch und die Diskussion zu bieten.
Das Infocamp findet statt vom 7.-8. September 2012 an der Hochschule für Technik und Wirtschaft in Chur. Die Veranstaltung ist als Barcamp konzipiert, das durch einige Keynotes umrahmt wird. Diskutiert werden aktuelle Themen wie beispielsweise:
  • Methoden der Informationswissenschaft -­ Stand und Perspektive
  • Open Access -­ Paradigma der digitalen Wissenschaft
  • Social Media – Kollaboration und der Beitrag der Bibliothek
  • Mobile Media ­- Das Verschwinden des „Ortes“ Bibliothek
  • Open Knowledge -­ Offenheit als Grundlage der Informationswissenschaft und ihrer Praxis?
Eingeladen sind Personen aus der bibliothekarischen und informationswissenschaftlichen Praxis und Forschung. Darüber hinaus freuen wir uns über TeilnehmerInnen aus verwandten Bereichen wie Archiv, Museum, Verlag, E-Learning und IT-Entwicklung.
Die Teilnahme ist kostenlos! Ein Anmeldeformular wird Anfang 2012 auf der Website http://www.infocamp.ch zur Verfügung gestellt.
Weitere Informationen zur Organisation des Infocamps: http://www.infocamp.ch und Facebook https://www.facebook.com/pages/Infocamp-Chur-2012/320380234658735, hashtag #icamp12
Viele Grüße, für das Infocamp-Organisationsteam
Ulrich Herb

TEXTUS

Jonathan Gray skizziert in einem aktuellen Blogpost, den ich, teilweise übersetzt, kurz wiedergeben will, den Entwurf einer Open Source Plattform zum Verwalten und Bearbeiten von Texten und Metadaten. Die Skizze berücksichtigt vorrangig Anforderungen aus den Geisteswissenschaften, könnte aber auch für andere Disziplinen interessant sein. Grays Entwurf trägt den Namen TEXTUS und soll folgende Features aufweisen:

  • Transkriptionsfunktionen für Bilder, PDFs und nicht-maschinenlesbare Quellen
  • Übersetzungsfunktionen und Möglichkeiten Originaltext und Übersetzung einfach zu vergleichen
  • Annotationsfunktionen sowie Funktionen zum Teilen der Annotationen
  • Funktionen zum Pflegen, Teilen und Exportieren bibliographischer Daten wissenschaftlicher Artikel sowie von Metadaten zu Quellen, die in TEXTUS publiziert wurden.

Zum Einsatz kommen verschiedene Open Source Tools resp. Open Knowledge Services, unter anderem: Annotator (ermöglicht das Hinzufügen von Annotationen zu Websites), Bibserver (Werkzeug-Bundle zur Verwaltung bibliographischer Metadaten), Public Domain Works (Verzeichnis von Quellen, die in der Public Domain stehen) sowie Scripto (Erstellen von Transkriptionen in dokumentarischen Projekten). TEXTUS wird zudem auf WordPress basieren.

Jonathan Gray fordert Interessierte zur Diskussion in der Open-Humanities Mailing List der Open Knowledge Foundation auf.

Schwarze Schafe unter den Open-Access-Journals

Dank Klaus Grafs Meldung in Google+ wurde ich auf eine Liste als unseriös eingestufter Open-Access-Zeitschriften aufmerksam. Gepflegt wird die Liste von Jeffrey Beall, Bibliothekar an der University of Colorado Denver. Wer regelmäßig publiziert ist vielleicht schon mit dem Ärgernis vertraut – z.B. weil er von Bentham Open mit Werbemail überhäuft und dazu gedrängt wurde, gegen Autorengebühren in einem der zahlreichen (und sich vermehrenden) Journals des Verlags zu publizieren. Bentham Open und andere Verlage dieser Liste missbrauchen gewissermaßen das Finanzierungsmodell der Autorengebühren, das unter Open Access Journals gebräuchlich ist, indem sie Journale nicht unter Gesichtspunkten der wissenschaftlichen Notwendigkeit, sondern als Cash-Cows aus dem Boden stampfen – in der Hoffnung darauf, dass einige Wissenschaftler auf die Angebote hereinfallen und gegen Geld Artikel in den besagten Journals publizieren. Außer Unkosten hat ein Autor aber rein gar nichts von einer solchen Publikation, schließlich sind die Journals alles andere als attraktive oder anerkannte Publikationsorte. Beall beschreibt sie weitergehend zu Recht als flüchtig und mit niedrigen (oder gar ohne) Qualitätsstandards operierend. Sowohl Graf als auch Beall wissen, dass die Qualität eines Journals nicht vom Modus (Open Access oder Nicht Open Access) abhängt, sondern von der Qualität der Herausgeberschaft, Einreichungen und Begutachtung – aber ich will diesen Umstand dennoch betonen, da mancherorts die Qualität von Open Access immer noch und zu Unrecht in Frage gestellt wird. Mangelnde Qualitätssicherung lässt sich mit Leichtigkeit auch im Toll Access nachweisen, man denke nur an den Elsevier-Merck-Skandal: Elsevier publizierte ein ganze Zeit Journals, die allein dem Zweck dienten Produkte des Konzerns Merck anzupreisen – unter dem Schleier redlicher wissenschaftlicher Publikation und objektiver Forschung und ungeachtet der von den teils als gesundheitsschädigend eingestuften Präparaten ausgehenden Gefährdung.

 

Links:

Richard Poynder über Bentham Science: http://poynder.blogspot.com/2008/04/open-access-interviews-matthew-honan.html

Jeffrey Beall’s List of Predatory, Open-Access Publishers: http://metadata.posterous.com/83235355

Klaus Graf: Weitere Infos zu unseriösen Open-Access-Zeitschriftenverlagen (inkl. Informationen zu weiteren Verlagen): http://archiv.twoday.net/search?q=predatory