Open Data vs. proprietäre Dateiformate in der medizinischen Patienteninformation

Bei Salvatore Iaconesi, offensichtlich ein italienisches Multitalent, wurde ein Gehirntumor diagnostiziert. Bei der Behandlung der Erkrankung will er auf den Vorteil des Viele Augen Prinzips setzen und weil dieses seine Wirksamkeit nur entfalten kann, wenn Informationen offen vorliegen, stellt er seine Krankenakte und Scans online und offen zur Verfügung. Ausschlaggebend für diesen Schritt war die Erkenntnis, dass alle im Diagnoseprozesse erhobenen Informationen in proprietären Dateiformaten vorlagen. Das Manko dieser Verfahrensweise ist klar: Eine Re-Analyse der erhobenen Daten oder auch nur eine inhaltliche Prüfung (respektive Verifizierung) der Diagnose durch andere wird immens verkompliziert oder gar gänzlich unmöglich. Die taz berichtete am 11.09. über Iaconesis Initiative, den die Hoffnung vorantreibt die offene Zugänglichkeit der Daten könne sein Leben retten – immerhin haben laut taz-Artikel schon zwei Mediziner die Daten re-analysiert. Dass Iaconesi die Dateien, die man ihm in der behandelten Klinik überlies, erst cracken musste, um sie offen zugänglich zu machen, ist an sich schon grotesk: Medizinische Informationen (gleich ob Messdaten oder als Text vorliegende Diagnosen) über den eigenen Gesundheitszustand sollten prinzipiell für den beschriebenen Patienten technisch nutzbar sein.

taz-Artikel: Riccardo Valsecchi: Open Data in der Medizin. Der öffentliche Krebs. 11.09.2012.  http://www.taz.de/!101447/

Youtube Video Salvatore Iaconesis zu seiner Erkrankung und Initiative  http://www.youtube.com/watch?v=5ESWiBYdiN0

Share This:

Crowdfunding, Wissenschaft & Open Science

Auf Einladung von Karsten Wenzlaff von ikosom (Institut für Kommunikation in sozialen Medien) trug Ulrich Herb, Social Media Weekich heute im Rahmen der Social Media Week eine Präsentation zum Thema „Crowdfunding, Wissenschaft & Open Science“ vor. Ich bedanke mich bei den Kollegen von den Open Access Tagen in Wien für die Zurverfügungstellung eines geeigneten Raums und eile jetzt zu den Vorträgen. Die Folien zum Vortrag „Crowdfunding, Wissenschaft & Open Science“ können hier via Slideshare heruntergeladen werden. Zum Thema „Crowdfunding in der Wissenschaft“ arbeiten Karsten Wenzlaff, Jörg Eisfeld-Reschke und ich gerade an einem Artikel, weitere Informationen finden sich hier: „Open Science & Research Funding„. Hier auch ein Artikel, den Karsten Wenzlaff, Jörg Eisfeld-Reschke und ich zu Crowdfunding in der Wissenschaft verfasst haben:

Eisfeld-Reschke, Jörg; Herb, Ulrich & Wenzlaff, Karsten (2014). Research Funding in Open Science In S. Bartling & S. Friesike (Hrsg.), Opening Science, 237-253 DOI: 10.1007/978-3-319-00026-8_16

Share This:

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?

Ebenfalls erschienen im Newsletter budrich @cademic (budrich intern) 09/2012

Wer wissenschaftlich publizieren will, wählt den Publikationsort, den Verlag oder die Fachzeitschrift mit Bedacht. Neben inhaltlich-fachlichen Aspekten sind meist Fragen der Qualität des Publikationsortes für die Entscheidung auschlaggebend. Die Qualität wissenschaftlicher Publikationen zu messen ist leider nicht so einfach, wie es auf den ersten Blick scheint. Dennoch blüht in Zeiten von leistungsorientierter Mittelvergabe und Hochschulevaluierungen das Geschäft mit Zitationsinformationen, wird doch weithin angenommen, Zitate wären ein Indikator für die Qualität wissenschaftlicher Leistungen.

 

Zitate und die Qualität wissenschaftlicher Zeitschriften

So wird zum Beispiel vielfach der Journal Impact Factor (JIF) als Kennziffer für die Qualität wissenschaftlicher Zeitschriften interpretiert. Er dividiert die Zahl der Zitate im laufenden Jahr auf Artikel eines Journals der vergangenen zwei Jahre durch die Zahl der Artikel des Journals der vergangenen zwei Jahre. Vereinfacht: Er gibt die Zitationsrate einer Fachzeitschrift innerhalb eines Zweijahresfensters an. Schon das Zeitfenster ist delikat: Der Parameter verhindert einen hohen JIF-Wert für Zeitschriften aus Disziplinen, in denen die Zitationen über viele Jahre recht gleich verteilt sind oder sehr spät ansteigen (wie Sozialwissenschaften, Geisteswissenschaften oder Mathematik) und bevorzugt Zeitschriften aus den Naturwissenschaften und der Medizin, in denen Artikel meist innerhalb kurzer Zeit nach Publikation sehr häufig zitiert werden. Zudem ist die Datenbasis, aus der der JIF berechnet wird, recht willkürlich gestaltet: Zugrunde liegt die Datenbank Journal Citation Reports (JCR), in der längst nicht alle Fachzeitschriften enthalten sind und ausgewertet werden. Schlimmer noch: JCR und JIF schließen komplette Dokumentgattungen, wie Konferenzberichte oder Monographien, aus, auch wenn diese je nach Fach einen höheren Stellenwert für die interne Wissenschaftskommunikation haben als es bei Zeitschriften der Fall ist. Zudem weisen beide einen deutlichen Sprachbias zugunsten englischsprachiger Fachzeitschriften auf, Zeitschriften in anderen Sprachen haben einen niedrigeren JIF, da sie im Sample unterrepräsentiert sind. Zuguterletzt bezieht sich der JIF auf Fachzeitschriften, nicht Artikel: Meist führt aber eine geringe Anzahl sehr häufig zitierter Artikel zu einem hohen Wert für die Zeitschrift, mehrere Studien belegen Verteilungen von 70:30 oder 80:20 zwischen selten und häufig zitierten Artikeln. Dennoch wird bei Evaluierungsverfahren meist nur der JIF-Wert der Fachzeitschriften erfasst und nicht die Häufigkeit, mit der einzelne Artikel eines Wissenschaftlers in einer Zeitschrift zitiert wurden – die erwähnten Verteilungen zwischen viel und selten zitierten Artikeln legen daher den Eindruck nahe, dass man bei einem solchem Vorgehen mit einem eigenen kaum zitierten Artikel von den high-cited Papers weniger Kollegen profitieren dürfte. Vor diesem Hintergrund fällt es überdies schwer zu behaupten eine Fachzeitschrift habe als Ganzes wegen eines hohen JIF-Wertes Qualität, dieser Wert lässt einzig die Aussage zu, dass sie meist wenige Artikel publiziert, die häufig zitiert werden.

Die Folge: Artefakte in der Wissenschaft

Trotz dieser und anderer Mängel ist der JIF eine soziale Tatsache, er beeinflusst Handlungen und Haltungen, vor allem weil er nicht unerheblicher Faktor bei der Evaluierung wissenschaftlicher Leistung ist. Er provoziert damit Verhaltensweisen, die ohne seine Existenz ausblieben, Artefakte, die zudem nicht selten dysfunktionaler Art sind. Informatikern in den USA etwa wird von Fachgesellschaften geraten, in Zukunft in Fachzeitschriften und nicht wie sie es traditionell tun, in Konferenzbänden zu publizieren. Bislang bevorzugen Informatiker Veröffentlichungen in Konferenzbänden, da die Zeitspanne zwischen Einreichung und Publikation in den meisten Fachzeitschriften für ihre schnelllebigen Erkenntnisse zu groß ist. Befolgen sie nun die Vorschläge der Fachgesellschaften, werfen die damit die fachadäquate Publikationskultur über Bord, werden aber bei Evaluierungen besser abschneiden, da Konferenzbände wie erwähnt per definitionem keinen JIF-Wert haben können.

Der Fetisch um den JIF führt, so Alfred Kieser, zur Tonnenideologie der Forschung, die oft einzig auf die Generierung einer möglichst hohen Zahl an Zitationen zielt und dem planwirtschaftlerischen Irrglauben erliegt eine hohe Quantität an Zitation beweise eine hohe Leistungsfähigkeit. Dieser Trugschluss führt zu grotesken Strategien, teils werben Fachbereiche und Hochschulen vielzitierte Wissenschaftler an, um kurzfristig bessere Rankingpositionen oder Evaluierungsergebnisse zu erreichen. Journalherausgeber und Verlage finden auch Gefallen am Frisieren des leicht manipulierbaren JIF, es kursieren wahre Anleitungen mit erstaunlich einfachen Tricks dazu. Da Reviews im Zähler der JIF-Division berücksichtigt werden, nicht aber im Nenner, führt z.B. eine Erhöhung der Anzahl an Reviews unweigerlich zu einem höheren JIF, immer wieder werden Autoren auch dazu angehalten, die publizierende Fachzeitschrift zu zitieren, in manchen Fällen werden sie dafür sogar mit Jahresabos der Zeitschrift belohnt.

Der dominante Akteur im Geschäft mit Zitationsinformationen ist der Konzern Thomson Scientific, der neben den erwähnten Journal Citation Reports (und dem JIF) sowie dem Social Science Citation Index (SSCI) neuerdings auch den Book Citation Index und den Data Citation Index auflegt. In Zeiten leistungsorientierter Mittelvergabe und Hochschulevaluierung steigt das Interesse an Zitationsdaten, dabei wurde nie methodisch sauber evaluiert und belegt, ob Zitationen Qualität ausdrücken und nicht vielleicht eher Popularität oder Relevanz.
Warum macht ein Wissenschaftler eigentlich Karriere?

Von dieser Unschärfe ist aber nicht nur der JIF betroffen, sondern auch andere zitationsbasierte Metriken wie etwa der Hirsch- oder h-Index, dessen Formel wie folgt lautet: Ein Autor hat einen Index h, wenn h von seinen insgesamt N Veröffentlichungen mindestens jeweils h Zitierungen haben und die anderen (N-h) Publikationen weniger als h Zitierungen. Ein Autor hat demnach einen h-Index von 8, wenn er 8 Schriften veröffentlicht hat, die jeweils mindestens 8 Mal zitiert worden sind. Der h-Index ist so etwas wie der Shooting-Star der Impact-Maße, sehen doch nicht wenige in ihm ein Maß für die Qualität eines Forschers und die soll ja unter anderem für Beförderungen maßgeblich sein. Allerdings kamen Jensen, Rouquier und Croissant 2008 zu einem anderen Schluss: Sie untersuchten den statistischen Zusammenhang zwischen den Werten verschiedener zitationsbasierter Metriken (darunter JIF der Fachzeitschriften, in denen man publizierte, h-Index und eine Vielzahl anderer Maße) für einzelne Forscher an der angesehenen französischen Forschungseinrichtung Centre national de la recherche scientifique (CNRS) und der Häufigkeit mit der diese Forscher befördert wurden. Von den untersuchten Verfahren war der h-Index am besten geeignet, Beförderungen am CNRS zu erklären, allerdings nur in 48% der Fälle. Kurzum: Auch das genauste Maß konnte in mehr als der Hälfte der Fälle Beförderungen nicht vorhersagen.

Qualität: Ein mehrdimensionales Konstrukt?

Was bleibt sind viele Fragen: Misst der h-Index doch die Qualität eines Forschers, auch wenn er Beförderungen nicht vorhersagen kann, weil für diese andere Faktoren als die rein wissenschaftliche Qualität ausschlaggebend sind? Oder war für die Beförderungen am CNRS doch Qualität verantwortlich und h-Index, JIF und Co. messen gar keine Qualität, sondern Popularität oder eine völlig andere Dimension? Johan Bollen beschrieb Qualität in der Wissenschaft 2009 als mehrdimensionales Konstrukt, das nicht durch eine einzige Metrik oder Zahl beschrieben werden könne und fügt bezüglich des JIF an, dieser sage wenig über Qualität aus. Wer Qualität messen will, muss dazu demnach ein ganzes Set an Eigenschaften erheben und ausgeklügelt in Relation zueinander setzen. Eine dieser Eigenschaften sind Zitationswerte, auch wenn diese laut Bollen für das Konstrukt Qualität weniger ausschlaggebend sind als andere Eigenschaften. JIF und h-Index hingegen begnügen sich letztlich mit dem „Messen des leicht Messbaren„, wie Gerhard Fröhlich 1999 feststellte. Man könnte noch weitergehen und fragen, ob Qualität nicht zudem individuell definiert wird. Wenn man das tut, müsste auch jeder Leser wissenschaftlicher Literatur in autonomer und souveräner Art für sich entscheiden, welche Texte und Artikel für ihn Qualität haben und welche nicht und dabei nicht auf einen kruden Zitationswert schielen, sondern auf das Urteil von Experten und Kollegen vertrauen – und nicht zuletzt auch auf das eigene.

Literatur:

Bollen, J., Van De Sompel, H., Hagberg, A., & Chute, R. (2009). A principal component analysis of 39 scientific impact measures. PloS one, 4(6), e6022. doi:10.1371/journal.pone.0006022http://www.plosone.org/article/info:doi/10.1371/journal.pone.0006022

Fröhlich, G. (1999). Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In J. Becker & W. Göhring (Eds.), Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft (pp. 27–38). GMD- Forschungszentrum Informationstechnik GmbH. http://eprints.rclis.org/archive/00008982/

Herb, U. (2012). Pimp my Impact Factor. Telepolis, (06.02.2012). http://www.heise.de/tp/blogs/10/151361

Jensen, P., Rouquier, J.-B., & Croissant, Y. (2008). Testing bibliometric indicators by their prediction of scientists promotions. Scientometrics, 78(3), 467–479. http://www.springerlink.com/content/u4467542442h1544doi:10.1007/s11192-007-2014-3

Kieser, A. (2010). Die Tonnenideologie der Forschung. Frankfurter Allgemeine Zeitung, (130), N5. http://www.faz.net/aktuell/feuilleton/forschung-und-lehre/akademische-rankings-die-tonnenideologie-der-forschung-1997844.html

Cite this article as: Ulrich Herb, Im Auge des Betrachters: Wie will man die Qualität wissenschaftlicher Publikationen beschreiben?, in scinoptica, 20. September 2012, https://www.scinoptica.com/2012/09/im-auge-des-betrachters-wie-will-man-die-qualitaet-wissenschaftlicher-publikationen-beschreiben/.

Share This: