Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Wissenschaftler lassen sich von computer-generierten Reviews täuschen

Von Computern fabrizierte Texte sind in der Wissenschaft keine Neuheit, schon öfters geschah es, dass solcher Paper als Artikeleinreichung in wissenschaftlichen Journalen unbeanstandet die Peer Review passierten. Nun konfrontierten Forscher der Universität Triest Wissenschaftler mit computer-generierten Reviews – diese hielten die Fake Reviews erstaunlich oft für echt und ließen sich in ihrer eigenen Beurteilung von Artikeln durch sie beeinflussen. Mehr dazu in Telepolis.

Whistleblowing & die Wissenschaft

Stefan Heßbrüggen hat eine interessante Petition gestartet, die sich gegen die Erschwernis und Reglementierung des akademischen Whistleblowings richtet. Ein Blogpost des Initiators findet sich bei hypothesis.org. Anlass ist eine Empfehlung der Hochschulrektorenkonferenz HRK, dort heißt es: „Zum Schutz der Hinweisgeber (Whistle Blower) und der Betroffenen unterliegt die Arbeit der Ombudspersonen höchster Vertraulichkeit. Die Vertraulichkeit ist nicht gegeben, wenn sich der Hinweisgeber mit seinem Verdacht an die Öffentlichkeit wendet. In diesem Fall verstößt er regelmäßig selbst gegen die Regeln der guten wissenschaftlichen Praxis. Dies ist auch bei leichtfertigem Umgang mit Vorwürfen wissenschaftlichen Fehlverhaltens der Fall sowie bei der Erhebung bewusst unrichtiger Vorwürfe“. Ulrike Beisiegel, Vizepräsidentin der HRK, hat zu diesem Thema bereits am 11. Juni ein Interview gegeben, das mich nicht von der vorgeschlagenen Strategie überzeugen konnte. Diese Empfehlung der HRK, so ist zu vermuten, wird auch als Ergänzung in die Empfehlungen zur Sicherung guter wissenschaftlicher Praxis der Deutschen Forschungsgemeinschaft DFG eingehen, eine entsprechende Information seitens der DFG wird heute anläßlich ihrer Jahrespressekonferenz erwartet.  Übernimmt die DFG diese Empfehlungen, so vemutet Heßbrüggen, entfaltet dies normative Ausstrahlung auf lokale Hochschulordnungen, in welche die Vorgaben im Wesentlichen übernommen werden dürften. Ich gebe Heßbrüggen Recht, wenn er HRK und DFG eine vereinfachte und weitgehend unzutreffende Vorstellung von Whistleblowing unterstellt, er zitiert in diesem Zusammenhang DFG-Justitiarin Kirsten Hüttemann, die auf academics.de eher emotionale Gründe für Whistleblowing ausmacht, sie benennt diese als Ausdruck von Unstimmigkeit, Querulanz und Konkurrenzdenken. Auch hier teile ich Heßbrüggens eher phänomenologische Sicht: Wenn eine Täuschung aufgedeckt wird, ist es mir gleich, ob die Motivation des Whistleblowers wissenschaftlich rational oder emotional war. Auch die, im Statement Hüttemanns anklingende, Psychologisierung des Whistleblowing erinnert leider an eine in der Politik verbreitete rhetorische Strategie, strukturelle Probleme (hier: Fehlverhalten in der Wissenschaft), derer man nicht Herr wird, durch Reduktion auf Idiosynkrasien zu banalisieren. Schärfer beschreibt Gerhard Fröhlich (Universität Linz) diesen Reflex in seinem Artikel Plagiate und unethische Autorenschaften bezugnehmend auf ein konkretes Ereignis: „Wichtig ist an diesem Fall – wie bei so vielen anderen – nicht die Person des Fälschers oder Plagiators, sondern das offenkundige Versagen der wissenschaftlichen Institutionen und ihr Unwillen, eindeutig nachgewiesene Plagiate bzw. Fälschungen bekanntzugeben, sondern sie als ‚persönliches Problem‘ zwischen dem Plagiator und dem Aufdecker sozialpsychologisch herunterzuspielen.“

Die Empfehlung der HRK mag der Angst geschuldet sein, Verleumdung könne in der Wissenschaft um sich greifen. Dieser empfundenen Gefahr will man offensichtlich entgegen treten, indem Informationen über wissenschaftliches Fehlverhalten monopolistisch von Ombudsleuten verfolgt werden sollen bis die Vorwürfe untersucht und beurteilt werden konnten. Vielleicht trägt die Empfehlung allerdings auch uneingestanden die Befürchtung in sich, nicht fälschlicherweise vorgetragene, verleumderische Manipulationsvorwürfe könnten das Wissenschaftssystem diskreditieren, sondern eine Flut sich bewahrheitender Anschuldigungen könnte es in Verruf bringen. Um dem letzten Verdacht zu entgehen, hilft aber nur ein offeneres Verfahren, das Willen zur Transparenz zeigt und nicht, wie im Falle der HRK-Empfehlungen, dem Whistleblower mit Sanktion droht und ihm (s.o. obiges Zitat aus den Empfehlungen) einen Verstoß gegen die Regeln guter wissenschaftlicher Praxis unterstellt – denn diese Strategie immunisiert Wissenschaftler, die unethische Praktiken verfolgen.

Folglich stimme ich Heßbrüggens Argumentation weitgehend zu, vor etwas mehr als einem Jahr habe ich bereits in einem Interview eine Art WikiLeaks für Wissenschaftler gefordert. Wie das System der Ombudsleute ins Bild passt, ist offen. Ich frage mich, ob Nachwuchswissenschaflter, die z.B. Fälschungen ihres Vorgesetzen, von dem das Zustandekommen ihres nächsten befristeten Vertrages abhängt, berichten wollen, sich immer einem Ombudsmann anvertrauen wollen. Ein Verlust ihrer Anonymität hat für sie, auch wenn ihre Vorwürfe begründet sind, meist katastrophale Folgen (s. dazu auch den Artikel Gerhard Fröhlichs). Vielleicht wäre wirklich ein Postfachsystem wie Wikileaks zeitgemäßer, in dem Whisteblower sich durchaus zu erkennen geben und konkrete Beweise für wissenschaftliches Fehlverhalten dokumentieren sollen. Die Weitergabe der Information an Prüfer (die mehr oder minder analog der Ombudsleute fungieren könnten) müsste hingegen anonym erfolgen – auch wenn diese Verborgenheit in der Überschaubarkeit der Wissenschaft trügerisch sein kann. Jedoch sollte man ein solches System überregional anlegen (um Cliquenwirtschaft zu erschweren) und immer mehr als einen Prüfer vorsehen, um Voreingenommenheiten zu entgegnen und, wie es heute bereits bei Plagiatsplattformen geschieht, ab Beweis des Fehlverhaltens dieses öffentlich dokumentieren. Letzteres auch zum Schutz der Beklagten, die den Vorwürfen öffentlich entgegnen können.

Update: Die DFG hat, wie vermutet, am 04. Juli die Empfehlungen der HRK übernommen, s. dazu die Ergänzung der Empfehlungen der Deutschen Forschungsgemeinschaft zur Sicherung guter wissenschaftlicher Praxis (dort Empfehlung 17) sowie die darauf bezugnehmende Pressemitteilung der DFG. Heßbrüggen ruft unterdessen dazu auf, die Petition weiterhin zu unterstützen, um Widerspruch gegen die HRK-/DFG-Empfehlungen zu dokumentieren.

Zuletzt hier noch

  1. der Link zur Petition: https://www.change.org/de/Petitionen/deutsche-forschungsgemeinschaft-hochschulrektorenkonferenz-preserve-the-freedom-to-publish-findings-of-academic-misconduct-in-germany
  2. die bibliographischen Angaben zum zitierten Artikel:
    Fröhlich, G. (2006). Plagiate und unethische Autorenschaft. Information – Wissenschaft & Praxis, 57(2), 81–89. Online unter http://eprints.rclis.org/7416/1/plagiate.pdf

Symposion „Social Media & neue soziale Bewegungen – Potentiale, Chancen, Risiken“, 19. und 20. April 2013

Am 19. und 20. April 2013 findet an der Johannes Kepler Universität Linz (Österreich) ein Symposium zum Thema „Social Media & neue soziale Bewegungen – Potentiale, Chancen, Risiken“ statt. Die Veranstaltung ist in Form von Workshops organisiert und fokussiert auf die Verbindungen zwischen sozialen Bewegungen und sozialen Medien in Gesellschaft und Wissenschaft. Hier der Ablaufplan:
Workshop 1: Ägyptischer Frühling
Fr., 19.4. 2013, 15 Uhr s.t., Kaffee & Kekse ab 14.30
BeiträgerInnen: Andrea Ghoneim, Kairo/Wien; Maha El Hissy, München, Bernhard Seyringer,  Wien
Themen: Information – Emotion – Revolution; Bild – Abbild – Trugbild. Macht der Bilder bei Gemeinschaftsgründungen im arabischen Frühling; Gefühlslagen statt Information. Der `Arabische Frühling` und die Zukunft der Medien.
Workshop 2: Akademische Frühlinge
Sa., 20.4. 2013, 10 Uhr s.t.
BeiträgerInnen: Gerhard Fröhlich, Linz/Ulrich Herb, Saarbrücken/Terje Tüür-Fröhlich, Linz/Tallinn
Themen: Wissenschaftskritische Blogs, Petition Elsevier & Waffenhandel, Elsevier-Boykott-Bewegungen, Petitionen & Initiativen contra Libel Law (Verleumdungsrecht), pro OpenAccess, pro Open Data, Blogs von Wissenschaftlerinnen, crowdfunding
Workshop 3: Schattenseiten
Sa., 20.4. 2013, 14 Uhr s.t. (pktl.)
BeiträgerInnen: Daniela Fürst, Wien; Carsten Müller, Leipzig
Themen: Trivialisierte Intimität; Internet-Kriminalität aus kriminologischer Sicht

Ort: Repräsentationsraum G, UniCenter Johannes Kepler Universität Linz,
AltenbergerStr. 69, A-4040 Linz-Auhof  (= Mensagebäude, 2. Stock – Zugang über Aussenlift, Aussenstiege), s. Lageplan.
Weitere Informationen finden sich auf der regelmäßig aktualisierten Tagungshomepage: http://www.kulturinstitut.jku.at/symposion2013.html oder in den Abstracts der Impulsbeiträge.
Update:
Unter http://cba.fro.at/109835 steht ein vierzigminütiges Radiofeature zur Veranstaltung online.

Crowdfunding Plattformen für wissenschaftliche Projekte – eine Liste

Wie schon einmal erwähnt, verfassen Karsten Wenzlaff und Jörg Eisfeld-Reschke (beide IKOSOM, Institut für Kommunikation in sozialen Medien) und ich einen Artikel zum Thema Research Funding & Science 2.0 für ein von Soenke Bartling und Sascha Friesike herausgegebenes Buch (Titel Science 2.0). Auch wenn im Artikel Elemente einer Science 2.0 tauglichen Wissenschaftsförderung eher im Mittelpunkt stehen als konkrete Service-Angebote, habe ich eine (sicher unvollständige) Liste an Crowdfunding Plattformen für wissenschaftliche Projekte erstellt. Diese will ich hier gern mit Interessierten teilen und hoffe auch auf Ergänzungen durch Lesende. Allerdings wird der erwähnte Artikel nicht nur Crowdfunding, sondern auch virtuelle Währungen  und Social Payments als alternative Modelle der Forschungsfinanzierung thematisieren.

… Ergänzungen sind, wie erwähnt, erwünscht. Hier auch der Link zur Präsentation Crowdfunding, Wissenschaft & Open Science sowe zum eingangs erwähnten Artikel über Crowdfunding in der Wissenschaft:

Eisfeld-Reschke, Jörg; Herb, Ulrich & Wenzlaff, Karsten (2014). Research Funding in Open Science In S. Bartling & S. Friesike (Hrsg.), Opening Science, 237-253 DOI: 10.1007/978-3-319-00026-8_16

 

Matthäus-Effekt & Forschungsförderung

Nicht nur die Begutachtung wissenschaftlicher Anträge zur Forschungsförderung und die Einreichung von Artikeln zur Publikation in Journalen haben Gemeinsamkeiten. Forschungsförderung und Publikationen zeigen auch beide den sogenannten Matthäus-Effekt: „Denn wer da hat, dem wird gegeben, dass er die Fülle habe; wer aber nicht hat, dem wird auch das genommen, was er hat.“ So heißt es im Matthäus-Evangelium 25,29. Robert K. Merton beschrieb mit dieser biblischen Passage den Umstand, dass bereits häufig zitierte Autoren (in einer Art selbstverstärkendem Prozess) häufiger zitiert werden als andere Autoren und dadurch noch mehr Renommee erlangen, was wiederum zu höheren Zitationszahlen führt. Vergleichbare Befunde kennt man auch aus dem Kontext der Förderung wissenschaftlicher Forschung, in dem man den Effekt ähnlich diagnostiziert: Einrichtungen, die bereits in hohem Umfang Fördermittel eingeworben haben, werden mit höherer Wahrscheinlichkeit wiederum Fördermittel bewilligt als es bei anderen Institutionen der Fall ist. Als Ursachen des Matthäuseffekts kommen viele Faktoren in Frage (vermutete höhere Qualität der Forschung stark geförderter Einrichtungen/ bei viel zitierten Autoren, größeres Maß an persönlicher Bekanntheiten zwischen Autoren/ Repräsentanten der antragstellenden Einrichtung, Herausgebern/ Vertretern der Fördereinrichtung/ Gutachtern, etc.). Mir fällt gerade ein, dass ich über den Matthäus-Effekt mal einen längeren Artikel schreiben sollte…

Gleichwohl: Die National Science Foundation NSF stellt Budget-Informationen als Open Data bereit (was ich sehr begrüße) und gab damit der Sunlight Foundation die Möglichkeit, Informationen zur Verteilung der Fördermittel auszuwerten. Die Ergebnisse der Untersuchung finden sich in einem Blog-Posting Neil Drutmans mit dem Titel How the NSF allocates billions of federal dollars to top universities, das – man ahnt es angesichts der Headline – auch in der Förderpraxis der NSF den Matthäus-Effekt aufdeckt und das ich gern zur Lektüre empfehle. Zwei Money Quotes will ich aber nicht auslassen:

“Twenty percent of top research universities got 61.6% of the NSF funding going to top research universities between 2008 and 2011.”

sowie

„Even when controlling for other factors, we find that for each additional employee a university has serving on an NSF advisory committee that university can expect to see an additional $125,000 to $138,000 in NSF funding.“

Literatur:

Drutman, L. (2012). How the NSF allocates billions of federal dollars to top universities. Sunlight Foundation Blog. Retrieved from http://sunlightfoundation.com/blog/2012/09/13/nsf-funding/

Merton, R. K. (1968). The Matthew Effect in Science: The reward and communication systems of science are considered. Science (New York, N.Y.), 159(3810), 56–63. doi:10.1126/science.159.3810.56 oder http://www.ncbi.nlm.nih.gov/pubmed/17737466

 

Cite this article as: Ulrich Herb, Matthäus-Effekt & Forschungsförderung, in scinoptica, 8. Oktober 2012, https://www.scinoptica.com/2012/10/matthaeus-effekt-forschungsfoerderung/.

 

Retractions und Fehlerpersistenz in der Wissenschaft

Ein im Journal of the Medical Library Association (JMLA) erschienener Artikel von Philip Davis (Referenz s. unten) untersucht, ob und wo in wissenschaftlichen Zeitschriften erschienene, dann aber zurückgezogene Artikel trotz Retraction (also offizieller Tilgung aus der Wissenschaftskommunikation) durch den Verlag noch verfügbar sind. Gründe für das Zurückziehen bereits publizierter Artikel gibt es viele: Nachgewiesener Plagiarismus, Datenfälschungen, methodische Fehler sind nur wenige Beispiele. Verlage tun sich schwer damit, bereits publizierte Artikel zurückzuziehen, zieht doch jede Retraction die Qualitätskontrolle der Verlage in Frage. Ringt man sich verlagsseitig zu einer Retraction durch, wird das Zurückziehen daher oft eher heimlich, still und leise durchgeführt, um den eigenen Ruf nicht zu schädigen. Diese Strategie führt aber leider auch dazu, dass zurückgezogene Artikel weiterhin Teil des wissenschaftlichen Diskurses sind und diesen prägen – schließlich wurden sie bereits rezipiert, ausgedruckt oder finden sich in privaten Volltextsammlungen oder Literaturverwaltungen. Davis ging diesem Phänomen der Persistenz zurückgezogener wissenschaftlicher Publikationen nun nach und fand heraus, dass von 1.779 in MEDLINE als zurückgezogen markierten Artikeln 289 (in 321 Kopien) auf Internetseiten (die keine Verlagswebsites waren) gefunden wurden. Davon handelte es sich in 304 Fällen um die Verlagsversion. 138 der Dateien (43%) fanden sich in PubMed Central, 94 (29%) auf Websites von Bildungseinrichtungen, 24 (7%) auf kommerziellen Internetseiten, 16 (5%) auf Advocacy-Websites und 10 (3%) in institutionellen Open Access Repositories. Nur 15 in der Dateien (5%) fand sich ein Hinweis, dass ihr Inhalt vom Verlag zurückgezogen wurde. Im Online Literaturverwaltungssystem Mendeley fanden sich Referenzen auf 1.340 der zurückgezogenen Artikel (75% der Gesamtzahl). Leider überprüfte der Autor nicht, ob (und ggf. in welchem Umfang) zurückgezogene Artikel noch auf offiziellen Verlagsseiten oder in Angeboten von Publikationsaggregatoren kursieren.

Davis zieht aus seiner Untersuchung den Schluss der dezentrale Zugang zu wissenschaftlichen Informationen gefährde deren Vertrauenswürdigkeit. Als Lösung schwebt ihm ein automatisierter Dienst vor, der Leser über Retractions von Artikeln informiert. Datenbanken wie das Web of Science taugen wohl nicht als Lösung, denn sie weisen nicht oder schleppend nach, wenn ein Artikel zurückgezogen wurde. Darüber berichtet unter anderem Ralph Neumann im Laborjournal mit dem Beitrag Schlecht gepflegt und dann noch frech.

Einen von Davis vorgeschlagenen Updatedienst, der jeden Nutzer, der einen zurückzogenen Artikel als Datei auf seinem PC oder als Referenz in seiner Literaturverwaltung führt, erscheint mir technisch kaum machbar. Meine Hoffnung ruhen eher auf Community-Lösungen, wie sie etwa von den Machern des Blogs Retraction Watch betrieben werden. Mehr dazu in meinem Telepolis-Artikel über Retraction Watch.