Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Journal zahlt Autoren für Zitate ihrer Artikel

Jeffrey Beall, dessen Pauschalisierungen zu Predatory Open Access ich nicht teile und dessen Injurien gegen integre Open-Access-Journale mich oft stören, liefert in seinem Blog Scholarly Open Access immer wieder Hinweise auf Auswüchse im wissenschaftlichen Publikationswesen. Das International Journal of Emerging Technology and Advanced Engineering (IJETAE) ist nun Thema eines Beall-Postings.

Vorab: Das Journal nutzt Article Processing Charges (APCs) als Einnahmequelle, für die Publikation eines zehnseitigen Artikels werden 170 US-Dollar fällig. Die Issues erscheinen in kurzen Intervallen, nämlich im Monatsabstand, und sind prall gefüllt – Issue 9 des Volume 6 umfasst 54 Artikel.

Beall verweist jedoch auf ein anderes Merkmal, welches das IJETAE meiner Kenntnis nach von anderen Journalen abhebt: Es zahlt seinen Autoren Geld für Zitationen auf ihre IJETAE-Artikel. Er zitiert als Beleg aus einer Mail, die das Journal an potentielle Autoren schickte:

All published articles from  September 2016 onwards will be applicable for “Research Paper Royalty Scheme” in which  corresponding author will get a reimbursement of 100 USD/6000 INR if his/her paper is cited by any 20 researchers in any reputed International Journal/Conferences in a year. If you are confident about your Research work then IJETAE will be honoured to appreciate it. Author can also keep track on Citation Count using Google Scholar.

Ich muss anmerken, dass die Google-Suche nach einzelnen Phrasen der Mail mich nicht zu Archiven von Mailinglisten führte, in denen ich den Inhalt der Mail verifizieren konnte. Allerdings finden sich in einem anderen Blog gleichfalls Nachrichten über diese Mails. Da derartige Informationen in der Regel direkt an Wissenschaftler gehen und nicht über Listen versendet werden, scheinen die Schilderungen über die in Aussicht gestellte Belohnung nicht zweifelhaft.

Von der Homepage des International Journal of Emerging Technology and Advanced Engineering
Von der Homepage des International Journal of Emerging Technology and Advanced Engineering

Warum nun die Entlohnung? Zwar schmückt sich das IJETAE mit einem Fake Impact Factor, auch auf der Grafik zu sehen, ein echter Journal Impact Factor (JIF) dürfte dennoch perspektivisch lukrativer sein. Da die Aufnahme eines Journals in das Web of Science (WoS), anhand dessen der Original-JIF berechnet wird, maßgeblich von Zitationszahlen abhängt, könnte man die Strategie verfolgen durch hohe Zitationszahlen den Weg ins WoS zu finden. Die Aufnahme in WoS hängt zwar auch von anderen Kriterien ab, aber die ließen sich mit ein bisschen Kosmetik womöglich auch noch erfüllen. Der Verweis auf Google Scholar legt auch die Vermutung nahe, man wolle durch gesteigerte Zitationszahlen in den Fächer-Rankings Google Scholars steigen.

Egal, ob das Ziel die Aufnahme ins WoS oder die höhere Position im Google Scholar Ranking ist – beides würde das IJETAE für Autoren attraktiver machen, damit zugleich zahlungsfreudiger und bereit höhere Gebühren zu zahlen.

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Open Science in der Soziologie – Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie

Am 18.09. ist meine Dissertation zum Thema „Open Science in der Soziologie – Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie“ erschienen. Sie ist sowohl im Print zu einem Preis von 36,80 € bestellbar (Bestellmöglichkeit beim Verlag Werner Hülsbusch oder via u1_hi67_herb_rgb_72dpi_400px_breitAmazon) als auch im Open Access via Zenodo oder SciDok verfügbar. Dem Verlag will ich für seine Unterstützung und unbürokratische Open-Access-Politik danken und kann ihn Kolleginnen und Kollegen nur empfehlen.

Die bibliographischen Angaben lauten:

Ulrich Herb (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie.  Schriften zur Informationswissenschaft; Bd. 67 [Zugleich: Diss., Univ. des Saarlandes, 2015]. Verlag Werner Hülsbusch : Glückstadt. ISBN 978-3-86488-083-4. DOI: 10.5281/zenodo.31234 oder URN: urn:nbn:de:bsz:291-scidok-62565. Hardcover, Fadenheftung, VIII + 492 S., zahlr. teilw. farb. Abb.
Hier auch der Klappentext:
Open Science, die offene Wissenschaft, zielt auf die möglichst umstandslose Nutzbarkeit und Verfügbarkeit weitgehend aller im Forschungsprozess anfallenden Informationen, in erster Linie von Textpublikationen, Forschungsdaten und Forschungssoftware. Überdies soll sie auch Transparenz in wissenschaftliche Arbeit moderierende Prozesse (wie die Begutachtung bzw. den Review von Textpublikationen) und in die Gewinnung von zur Bewertung von Wissenschaft herangezogenen Parainformationen (Impact-Metriken) bringen. Open-Science-Befürworter versprechen sich hiervon eine effizientere, innovationsfreundlichere und transparentere Wissenschaft, denn offene Informationen können schneller und leichter verbreitet und nachgenutzt sowie überprüft werden als nicht-offene.
Die Arbeit basiert auf einer fachübergreifenden Bestandsaufnahme der Open-Science-Elemente Open Access zu Textpublikationen, Open Access zu Forschungsdaten, Open Access zu Forschungssoftware, Open Review und Open Metrics, die allesamt typischerweise eher in den STM-Fächern (Science, Technology, Medicine) zu finden sind als in den Sozial- oder Geisteswissenschaften. Ausgehend von dieser Synopse widmet sie sich weitergehend den fachinhärenten Spezifika der Soziologie, die gemeinhin als Nachzüglerin der Open Science betrachtet wird, und untersucht empirisch die Prävalenz und Relevanz von Open Access zu Textpublikationen, Open Access zu Forschungsdaten, Open Access zu Forschungssoftware, Open Review und Open Metrics in der Soziologie.

High Impact Journale der Medizin und Open Access

Zwanzig Prozent der high Impact Journals der Web Of Science Kategorie General & Internal Medicine erscheinen Open Access: Unter den zehn Journalen  mit den höchsten Journal Impact Factor Werten in dieser Sektion finden sich aktuell zwei Open Access Journale: PLoS Medicine auf Rang 5 und BMC Medicine auf Rang 8.  Unter den zwanzig Top-JIF-Journalen der Kategorie finden sich zwei weitere Open Access Vertreter: The Annals of Family Medicine (Rang 15) sowie Das Deutsche Ärzteblatt International (Rang 20).  Die beiden letztgenannten Zeitschriften verlangen keine Publikationsgebühren, wohingegen bei PLoS Medicine 2.900 US-Dollar und bei BMC Medicine 2.580 US-Dollar Gebühren anfallen. Diese Beträge können aber reduziert werden, z.B. bei entsprechender regionaler Herkunft der Autoren oder Bestehen einer institutionellen Mitgliedschaft ihrer Einrichtungen. Die an dieser Stelle fehlenden Angaben zu Publikationsgebühren der 16 Closed Access Journale sollen ausdrücklich nicht zur Annahme verleiten, diese Zeitschriften verlangten keine Zahlungen dieser Art.

Artikel in PloS Medicine und BMC Medicine erscheinen übrigens unter einer Creative Commons BY Lizenz [1, 2], wohingegen The Annals of Family Medicine und Das Deutsche Ärzteblatt International ihre Publikationen nicht nur unter eine offene Lizenz stellen und sie alleine zum entgeltfreien Download (Gratis Open Access) anbieten.

Open Access, Zitationen, Finanzierungsmodelle, oder: Wohin führt der Weg?

Einer von Bo-Christer Björk und David Solomon unter dem Titel Open access versus subscription journals:  a comparison of scientific impact publizierten Studie zufolge erreichen Open Access Publikationen in der Medizin ähnliche Zitationshäufigkeiten wie ihre Closed Access Verwandten. Dies widerspricht etwas den Ergebnissen anderer Studien, die in der Regel (und für sehr unterschiedliche Fächer) erhöhte Zitationen für offen zugängliche Publikationen nachweisen. Interessanterweise finden sich in der Björk/Solomon-Studie Hinweise drauf, dass Open Access Journale, deren Finanzierungsmodell auf Autorengebühren basiert, häufiger zitiert werden als solche, die auf diese Zahlungen verzichten.

Über die widersprüchlichen Zitationsbefunde zwischen der Björk/Solomon-Erhebung und anderen Untersuchungen sowie die aktuellen Diskussionen um Green Road Open Access,  der auf Zweitpublikationen in Repositories setzt, und Golden Road Open Access, der originäre Open Access Publikationen hervorbringt und in manchen Fällen auf Autorenzahlungen basiert, sowie die Auswirkungen der Diskussionen auf Geschäftsmodelle von Wissenschaftsverlagen infomiert der Telepolis-Artikel Wechen Weg geht der Open Access? unter http://www.heise.de/tp/blogs/10/152469.

 

Bibliographische Angaben zur Studie:

Björk, B.-C., & Solomon, D. (2012). Open access versus subscription journals: a comparison of scientific impact. BMC Medicine10(1), 73. doi:10.1186/1741-7015-10-73http://www.biomedcentral.com/1741-7015/10/73

 

Alte Kommentare

Hans Dieter Zimmermann:

Ein interessanter Beitrag und interessante Ergebnisse von Björk und Solomon. Und nicht das wir uns falsch verstehen, ich bin für Open Access, aber ich bin auch für eine differenzierte Diskussion zum Thema.

Leider zeigt sich in dem Beitrag die sehr polarisierende Sicht auf das Thema Open Access – z.B. wenn der Auto von „Closed Access“ spricht. Warum? Ganz einfach, weil der Zugang zu wissenschaftlichen Zeitschriften für die Mehrheit der Forschenden, Lehrenden, Doktornden und Studierenden faktisch gar nicht ‚closed‘ ist und der Begriff somit etwas suggeriert, was nicht den Tatsachen der täglichen Praxis entspricht. Wer an einer wissenschaftlichen Einrichtung wie einer Hochschule studiert oder lehrt oder forscht, hat in aller Regel Zugang zu den relevanten Quellen; als Mitglied einer Scientific Community habe ich in aller Regel Zugang zu den entsprechenden Ressourcen.
Der Herausgeber des CACM hat in diesem Context einmal den Begriff „Clopen“ – eine Kombination von Closed und Open – formuliert, ich habe meine Gedanken dazu hier formuliert.

Das Open Access auch eine (gesellschafts- und wissenschafts-) politische und ökonomische Diskussion ist, ist mir sehr bewusst.

 

Ulrich Herb:

Lieber Herr Zimmermann,

vielen Dank für Ihren Kommentar. Ich sehe keinen grundsätzlichen Dissens zwischen unseren Perspektiven. Allerdings finde ich, dass es bestimmt auch an zahlreichen Hochschulen viele Forschende und Lehrende gibt, die keinen Zugriff auf *alle* relevanten Informationen haben. Closed bezieht sich für mich (das ging im Artikel unter) allerdings auch auf die Weiterverwendungsmöglichkeiten: Publikationen aus Subskriptionsangeboten darf ich nur runterladen und ausdrucken, CC-BY- oder CC-BY-SA-lizenzierte Open-Access-Werke (der Idealfall des Open Access) erlauben mir jede erdenkliche Weiterverwendung unter Wahrung der Nennung des Urhebers. Vielleicht ist dies sogar die grundlegendere Trennung zwischen „Open“ und „Closed“ und nicht der Finanzierungsmodus. Was Publikationen aus dem Subskriptionssektor aber auch „Closed“ macht, ist unkomfortabler Zugang: Oft stimmt der beim Verlag hinterlegte IP-Range nicht und man kann bezahlte Dokumente nicht abrufen, man muss sich einloggen oder erst prüfen, ob man Zugang hat – das alles entfällt im Open Access. JISC ermittelte mal die Kosten, die durch Subskription *und* den erschwerten Zugang zu subskribierten Publikationen entstehen, und setzte sie zu Open Access in Relation, dazu aus der Pressemitteilung: „The UK public sector spends £135 million a year, made up of subscriptions and time spent trying to find articles, accessing the journal papers it needs to perform effectively. Each extra 5% of journal papers accessed via open access on the web would save the public purse £1.7 million, even if no subscription fees were to be saved.“ http://www.jisc.ac.uk/news/stories/2012/04/openaccess.aspx

 

 

Pimp my Impact

Wilhite & Fong publizierten kürzlich in Science einen Artikel über die Praxis erzwungener Selbstzitate: Herausgeber wissenschaftlicher Journale versuchen durch solche und andere Vorgehensweisen den Journal Impact Factor ihrer Zeitschrift in die Höhe zu manipulieren. Andere gängige Tricks sind

  • Erhöhung der Anzahl der Reviews in einem Journal (diese werden im Zähler, aber nicht dem Nenner des JIF-Quotienten mitgezählt)
  • höhere Publikationsdichte
  • schnellere Publikationszyklen

Selbstzitate reihen sich in diese Liste ein, es sind Zitate von Artikeln eines Journals auf andere Artikel im selben Journal. Einen etwas ausführlicheren Beitrag zum Artikel von Wilhite & Fong, die erheben in welchem Ausmaß Autoren von Herausgebern zum Einstreuen dieser Selbstzitate angehalten werden, habe ich für Telepolis verfasst, zu lesen hier: http://www.heise.de/tp/blogs/10/151361

Literatur:

Wilhite, A. W., & Fong, E. A. (2012). Coercive Citation in Academic Publishing. Science, 335(6068), 542-543. doi:10.1126/science.1212540

Van Noorden, R. (2012). Researchers feel pressure to cite superfluous papers. Nature. doi:10.1038/nature.2012.9968