Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics

 

Kommentar verfassen / Leave comment