Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Open Access Heatmap 2016

Just as 2015 and 2014 I produced an Open Access Heatmap using data provided by the Directory of Open Access Journals (DOAJ). I calculated the number of Open Access Journals per country as listed by the DOAJ (this quite trivial data can be downloaded as a CSV file here, it was retrieved from the DOAJ yesterday). Using this CSV file with the online service CartoDB I produced the following heatmap visualizing the number of Open Access Journals per country. Please note that the map is generated by CartoDB and that CartoDB’s terms of use and terms of service apply. Click on a country to see how many Open Access Journals are published there. The countries publishing most of the Open Access Journals listed in the DOAJ are: Brazil (873), the United Kingdom (754) and the United States of America (675). Please feel free to use the CSV file and mash it up with other data just as Christian Heise did with the data from 2015.

Earlier this year the DOAJ cleaned its index and removed about 3,300 journals,  this explains why the numbers for 2016 differ so much from the heatmaps of 2015 and 2014.

Please note that the map has only illustrative value and of course it is obvious that it needs to be contextualized with other information to allow profound conclusions. Anyone who wants to have more detailled or granualar information is invited to take the data available on the web and to build heatmaps that visualize for instance the number of Open Access articles published per country. Of course it may also be useful to take other indicators into account as consumer price index, expenditures for research or the number of scientists.

Although I am very well aware of all these limitations of the heatmap published here unfortunatley I do not have the time to collect the data and build these maps – it is up to the rest of the Open Access community to do so if it thinks better maps are needed.

 

 

[cite]

Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics

 

Studie zu Open-Access-Publikationsgebühren in Deutschland erschienen

Najko Jahn und Marco Tullney publizierten kürzlich in PeerJ einen Artikel mit dem Titel  A study of institutional spending on open access publication fees in Germany. Darin werten beide Daten des Projektes Open APC aus, das Daten zu an deutschen Hochschulen und Forschungseinrichtungen entrichteten Publikationsgebühren im Gold Open Access sammelt. Die Informationen erlauben Vergleiche mit dem UK und Österreich, wo  Wellcome Trust respektive  der Fonds zur Förderung der wissenschaftlichen Forschung FWF entsprechende Daten anbieten. Dennoch unterscheiden sich die Daten aus Deutschland in mancher Hinsicht von denen aus dem UK und Österreich: Während die Zahlungen des Wellcome Trust und des FWF direkt von Forschungsförderern stammen und im Rahmen von Projektbewilligungen ausgeschüttet werden, geben die Daten aus Deutschland Auskunft über von Hochschulen und Forschungseinrichtungen beglichene Gebühren. Die Zahlungen deutscher Hochschulen werden teils mit Zuschüssen aus einem Programm der Deutschen Forschungsgemeinschaft DFG versehen – womit doch wieder eine Förderorganisation beteiligt ist. Im Unterschied zu Wellcome Trust und FWF deckelt die DFG jedoch ihre Untersützung und beteiligt sich nur an der Finanzierung von Artikeln, deren Gebühren maximal 2.000 € betragen. Mehr dazu in Telepolis unter dem Titel Open Access: Teuer und neue Monopole.

Hier auch die bibliographischen Angaben zum Paper von Najko Jahn und Marco Tullney:

Jahn N, Tullney M. (2016) A study of institutional spending on open access publication fees in Germany. PeerJ 4:e2323 https://doi.org/10.7717/peerj.2323

 

 

Citizen Science und die Demokratisierung der Wissenschaft

Dass Citizen Science einen Beitrag zur Demokratisierung der Wissenschaft leistet, wird nahezu gebetsmühlenartig betont. In einem Interview mit dem schwedischen Forscher Dick Kasperowski konnte ich nun diskutieren, inwiefern diese Annahme wirklich stimmt. Kasperowski informiert den Leser auch über unterschiedliche Arten der Citizen Science im Beitrag “Citizen Science als Demokratisierung der Wissenschaft?”