Altmetric.com tracks discussions about books listed in Amazon

Altmetric.com Logo
Altmetric.com Logo, downloaded from https://www.altmetric.com/about-us/logos/

The Altmetrics service Altmetric.com announced yesterday that it tracks now discussions about books listed on Amazon in social media and other not primarily scientific publications. According to altmetric.com’s posting this new data source produces „huge volumes of attention data – in just a few days Altmetric has found over 145,000 new mentions of 3,000 Amazon-listed books from Twitter, and over 20,000 mentions from other sources such as news, blogs and policy documents. Around 2 million mentions a year that relate directly to an Amazon record for a book are expected.“

Since the impact measurement for book publications is considered to be complicated and as citations are considered to be of little use for this purpose, Altmetric. com integrated an important impact source for books. It should be noted, however, that smaller publishers in particular are struggling with the use of Amazon as a sales platform due to its high service fees. Should Altmetric. com gain in importance, this could lead authors to opt out of publishing with smaller publishers if these don’t use Amazon as a sales platform.

 

 

 

ra21.org vs. Sci-Hub, Reader Metrics & Kontrolle – Sci-Hub Umfrage – OJS & Altmetrics – Open Access & Utopien

control photo
Photo by marcusrg

In aller Kürze einige Links und Informationen, die mir recht interessant erschienen, zu deren weiterer Aufbereitung mir jedoch die Zeit fehlte.

Die Versuche, Schattenbibliotheken, die wissenschaftliche Literatur unter Ignoranz des Copyrights entgeltfrei verbreiten, juristisch zu belangen, laufen regelmäßig ins Leere. Wenn nun Richtersprüche den Wissenschaftsverlagen nicht helfen, ihr Geschäft abzusichern, soll es die Technik richten: Die International Association of Scientific, Technical, and Medical Publishers (STM) und die National Information Standards Organization (NISO) wollen im Projekt RA21: Resource Access for the 21st Century die über IP-Ranges gesteuerte Kontrolle der Zugriffe auf lizenziertes Material durch das Modell der föderierten Identitäten oder federated identities ersetzen. In solchen Authentifizierungsverfahren wird nicht mehr anhand des Netzwerks, aus dem versucht wird, ein Objekt abzurufen, darüber entschieden, ob dieser Zugriff legitim ist, sondern anhand einer digitalen Signatur oder Identität. An sich ist diese Technik nicht neu: Unter anderem basiert die seit 2007 existierende OpenID auf besagtem Prinzip. Warum Wissenschaftsverlage zehn Jahre später derartige Authentifizierungsmechanismen für sich entdecken, liegt aber auf der Hand, wenn man die Funktionsweise Sci-Hubs, der größten Schattenbibliothek kennt. Wer in Sci-Hub nach einem Text recherchiert, löst on the fly eine Suche auf den Servern der Wissenschaftsverlage aus. Wird Sci-Hub dort fündig, legt es automatisch eine Kopie an, die zukünftig direkt ohne Zugriff auf den Verlagsserver abgerufen werden kann, und liefert die Datei dem Suchenden aus. Der erste Schritt, die Recherche in den Verlagsservern mit anschließendem Download, glückt aber nur, wenn der Zugriff über eine IP-Adresse erfolgt, die aus einem für den Zugriff autorisierten Netzwerk stammt.  Diesen zulässigen Zugriff simuliert Sci-Hub mittels Informationen, z.B. Login-Passwort-Kombinationen, die via VPN Zugriff auf institutionelle Abonnements ermöglichen. In ra21 nun soll die Hochschule für die Identität des Nutzers, der auf ein lizensiertes Objekt zugreifen will, bürgen und so den Zugriff ermöglichen. Die Anmeldeinformationen sollen nicht an den Verlag weitergeben werden, dennoch ist der Zugriff nun individualisiert und der Download beim Verlag kann einem Nutzer zugeordnet werden – womit die Bereitschaft zur Unterstützung Sci-Hubs durch Weitergabe von Login-Informationen sinken dürfte, denn letztlich streben die Verlage eine Ablösung von an Insititutionen gebundene durch individualisierte Authentifizierungen an. Überdies dürfte ra21 meinem Verständnis nach die Kontrolle der Literaturnutzung per se verstärken und damit neue Input-Faktoren für Altmetrics, allerdings auch neue Möglichkeiten der Überwachung und Bewertung wissenschaftlicher Arbeit schaffen. Zum letzten Punkt veröffentlichte Clifford Lynch im April 2017 den Artikel The rise of reading analytics and the emerging calculus of reader privacy in the digital world in First Monday. Apropos Sci-Hub: Freyja van den Boom (Open Knowledge International/ Lund University) führt eine Umfrage zum Sharing wissenschaftlicher Dokumente und zu Sci-Hub durch.

Das Public Knowledge Project (PKP) kooperiert mit dem Altmetrics-Dienst Impactstory: PKP stellt eine Suite an Open Source Software zum Publizieren wissenschaftlicher Inhalte bereit, darunter das Open Journals System (OJS). PKP will nun in Zusammenarbeit mit Impactstory ein OJS-Plugin entwickeln, das Altmetrics-Scores für Publikationen aus mit OJS-betriebenen Journalen ausweist. Die Daten werden von Crossrefs Service Event Data bezogen.

Das Journal LIBREAS veröffentlichte einen Call for Papers mit der Frage Wirkt Open Access? Oder: Wo ist die Utopie geblieben? – eine Überlegung, die ich selbst auch anstelle. Die Wendungen und qualitativen Entwicklungen des Open Access werden auch Thema einer Session bei den Open Access Tagen in Dresden sein, in der neben Herbert Hrachovec von der Universität Wien auch ich vortragen darf. Der ein oder andere freut sich darauf.

Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Nachdem ich kürzlich an dieser Stelle von einer Veröffentlichung zu Open Metrics im Young Information Scientist (YIS) berichtete, hier nun ein weiterer Hinweis zu einer Publikation, die auf Teilen meiner Dissertation beruht.

Im Kongressband des Soziologie-Kongresses der Österreichischen Gesellschaft für Soziologie (ÖGS) im Jahr 2015 erschien mein Beitrag Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. Der Artikel ist Open Access verfügbar. Thematisch ist der Beitrag dem YIS-Text mit dem Titel Impactmessung, Transparenz & Open Science: Open Metrics verwandt, konzentiert sich aber stärker auf die Altmetrics und die Frage, ob diese Momente der Freiheit in die Wissenschaft tragen und ob sie als Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft taugen.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik. In H. Staubmann (Hrsg.), Soziologie in Österreich – Internationale Verflechtungen. Kongresspublikation der Österreichischen Gesellschaft für Soziologie (S. 387–410). Österreichische Gesellschaft für Soziologie ÖGS. DOI:10.15203/3122-56-7 oder http://webapp.uibk.ac.at/ojs2/index.php/oegs-publikation/article/view/35/713

 

Herb, Ulrich. Altmetrics zwischen Revolution und Dienstleistung : Eine methodische und konzeptionelle Kritik

Abstract

Alternative Impact Metriken (Altmetrics) gelten oft als demokratisierende oder gar revolutionäre Verfahren zur Messung wissenschaftlicher Resonanz. Dieser Nimbus wird ihnen vor allem zuteil, da sie regelmäßig als den bekannten zitationsbasierten Verfahren der Impact-Messung (Journal Impact Factor, Hirsch-Index/ h-Index) überlegen angesehen werden. Dies wiederum vor allem, weil sie die Resonanz-Messung von wissenschaftlichen Texttypen erlauben, die von den Zitationsmetriken nicht erfasst werden (z.B. Bücher oder Sammelbände) oder sogar von Objekttypen (z.B. wissenschaftliche Daten und Software), die bisher per se von der Impact-Messung ausgeschlossen waren. Dieser Beitrag prüft, inwiefern Altmetrics aktuell dem Anspruch, eine demokratisierende Revolution, die immer auch eine rabiate Veränderung von Strukturen und Regeln bedeutet, auszulösen, gerecht werden kann oder ob sie nicht doch einfach eine der äußerst kritischen Reflexion bedürfende Dienstleistung sind, da sie neue Verfahren der Kontrolle, Evaluierung und Ökonomisierung der Wissenschaft erlauben.

Schlagworte: Impact, Metriken, Zitationen, Altmetrics, Evaluierung, Ökonomisierung, Wissenschaft

 

Herb, Ulrich: Altmetrics between Revolution and Service: A Methodical and Conceptual Criticism

Abstract

Alternative impact metrics (Altmetrics) are often considered to be democratizing or even revolutionary methods for measuring scientific resonance. This nimbus mainly surrounds them because they are regarded as metrics that outclass the well-known citation-based metrics (e.g. the Journal Impact Factor or Hirsch-Index/h-Index). This in turn happens mainly due to the fact that Altmetrics allow the resonance measurement of scientific document types (e.g. books or anthologies) or even object types (e.g. scientific data and software) that were previously excluded from the impact measurement. This contribution examines to what extent Altmetrics are sparking off a democratizing revolution, which necessarily always implies a rigorous change in structures and rules, or whether they are simply not more than a service that has to be considered highly critical as they offer new tools to control, evaluate and economize science.

Keywords: impact, metrics, citations, altmetrics, evaluation, economization, science

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics

 

Open Access, Wikipedia, Citizen Science & Open Metrics

Im Nachgang zu meinem Telepolis-Artikel Open-Access-Artikel werden in Wikipedia häufiger zitiert fragte Wikimedia an, ob ich einen Artikel zu Open Access und offenem Wissen für das Wikimedia Blog schreiben könne, der sich ebenfalls mit Open Access und Wikipedia befasst. Dieses Posting ist gestern erschienen, thematisch ist es um den Aspekt der Citizen Science und Open Metrics erweitert: Open Access und seine Wirkung in Wissenschaft, Wirtschaft und Gesellschaft, online unter http://blog.wikimedia.de/2015/08/20/freies-wissen-und-wissenschaft-teil-03-open-access-und-seine-wirkung-in-wissenschaft-wirtschaft-und-gesellschaft/

Impact-Lotterie mit Impactstory

Tendenziell sympathisiere ich mit den Altmetrics, den alternativen Metriken, ermöglichen sie es Wissenschaftlern doch Resonanz auf Werke zu dokumentieren, die sich nicht in Zitationen manifestiert. Zudem können Altmetrics auch Referenzen auf Daten und Software (oder allgemeiner Nicht-Text-Objekte) in Social Media oder anderen Datenspeichern erfassen und so Wissenschaftlern Credit für die Publikation dieser Objekte verschaffen. Theoretisch. Die Datenerhebung zu meiner Dissertation lehrte mich allerdings gewisse Vorbehalte bei der Nutzung einiger Altmetrics-Dienste (Impactstory, altmetric.com, PLUM Analytics) – und ein kurzer Blick in mein Impactstory-Profil nährt diese Skepsis.

In diesem Profil, zu finden unter https://impactstory.org/UlrichHerb, habe ich vor einiger Zeit fünf Publikationen als Selected Works gekennzeichnet. Ich habe darauf verzichtet, meine höchstzitierten Artikel als Selected Works zu kennzeichnen, sondern habe eher solche Publikationen ausgewählt, von denen entweder ich denke, dass sie  – unabhängig von Zitationen, Downloads oder anderen Indikatoren – gelungen sind, oder von denen mir durch andere Personen vemittelt wurde, sie seien nützlich. Diese Publikationen und die Gründe, warum ich sie zu Selected Works kürte, will ich kurz darstellen, zudem werde ich Impact-Werte, die Impactstory für die Items ermittelt, diskutieren.

  1. Herb, Ulrich (2010): Sociological implications of scientific publishing: Open access, science, society, democracy, and the digital divide. In: First Monday. Volume 15 (2010), Issue 2.
    Online: http://firstmonday.org/htbin/cgiwrap/bin/ojs/index.php/fm/article/view/2599/2404 
    doi:10.5210/fm.v15i2.2599

    Diesen Artikel halte ich für den besten, den ich geschrieben habe. Er ist zugleich (laut Google-Scholar-Autorenprofil) mein meist zitierter Artikel (21 Zitate), zu dem weist auch Sopus ihn als meinen höchstzitierten Artikel aus (fünf Zitate). Das Twitter-Archiv topsy fördert bei einer Suche über die Artikel-DOI, mit dem String „Sociological implications of scientific publishing“ oder mittels der Artikel-URL überraschender Weise keinen Tweet auf den Artikel zu Tage. Twitter selbst liefert hingegen bei der String-Suche mit Titelworten durchaus Treffer (s. Screenshot ). Der Artikel hat zudem 74 Mendeley User Counts (MUC), sprich 74 Nutzer haben ihn in ihrer Mendeley-Bibliothek gespeichert. Impactstory weist allerdings keinen einzigen Tweet oder einen MUC auf den Artikel nach. Der Artikel wurde einmal in der englischsprachigen Wikipedia zitiert, doch auch diese Referenz erfasst Impactstory nicht, gleiches gilt für die Scopus-Zitationen und das, obwohl Impactstory angeblich Wikipedia und Scopus auswertet. Inwiefern die Werte in den restlichen Impactstory-Datenquellen korrekt erfasst wurden, prüfe ich nicht, gehe aber auch von einer unvollständigen Erfassung aus.
  2. Eisfeld-Reschke, Jörg: Herb, Ulrich & Wenzlaff, Karsten (2014): Research Funding in Open Science. In S. Bartling & S. Friesike (Hrsg.), Opening Science (S. 237–253). Heidelberg: Springer.
    Diesen Buchbeitrag, den Jörg Eisfeld-Reschke und Karsten Wenzlaff zusammen mit mir verfassten, halte ich für meine zweitbeste Publikation. Er wurde laut Google Scholar nicht zitiert, ebenso laut Scopus. Dies mag daran liegen, dass er erst  2014 publiziert wurde und daran, dass es sich bei ihm nicht um einen Journalartikel handelt. In Scopus, das vorwiegend Journale auswertet, ist der Sammelband erst gar nicht indiziert. Die ausbleibenden Zitationen können aber auch der Thematik geschuldet sein: Der Artikel reflektiert derzeitige Verfahren der Forschungsförderung sehr kritisch und diskutiert neue, experimentelle Alternativen. In einer Wissenschaftswelt, die am Tropf der Drittelmittelgeber hängt, ist es vielleicht nicht zu erwarten, dass ein kontroverser Artikel zur Praxis der Geldgeber mit Zitationen bedacht wird. Topsy weist keinen Treffer für das Dokument nach, weder bei einer Suche nach dem Titel, der URL oder dem DOI. Twitter findet bei einer Titel-Suche drei Treffer, keinen bei einer DOI- oder URL-Suche. Impactstory weist allerdings neun Tweets aus, klicke ich auf das Twitter-Icon in der detaillierten Ansicht des Artikels bei Impactstory gelange ich zum Anbieter altmetric.com, von dem Impactstory die Twitter-Daten bezieht. Überraschenderweise erwähnt altmetric.com aber nur acht Tweets auf den Artikel und nicht neun wie Impactstory. Als MUC-Wert gibt Impactstory zwei Mendeley-Nutzer an, die den Artikel in ihrer Bibliothek vorhalten, altmetric.com hingegen einen einzigen. Bedauerlicher Weise sind beide Werte falsch: Mendeley selbst weist fünf Vorkommen in Nutzerbibliotheken nach. Impactstory und altmetric.com geben eine Wikipedia-Referenz auf den Text an. Tatsächlich wird er aus der englischsprachigen Wikipedia sowie der deutschsprachigen zitiert. Vermutlich werten die Dienste nur die englischsprachige Wikipedia aus, mit Sicherheit kann ich das nicht sagen. Allerdings denke ich nicht, dass sich Impactstory und altmetric.com die Mühe machen zu prüfen, ob Referenzen aus verschiedenen Wikipedia-Lokalisierungen aus Artikeln zum gleichen Thema stammen oder aus Artikeln zu unterschiedlichen Themen. Im ersten Fall wäre es womöglich sinnvoll zwei Referenzen als einen Impact-Event zu werten, im zweiten Fall sollte man wohl von zwei Events ausgehen.
  3. Herb, Ulrich (2014). Total numbers and shares of Open Access Journals using Creative Commons Licenses as listed by the Directory of Open Access Journals. Zenodo. doi:10.5281/zenodo.8327
    Hierbei handelt es sich um Daten, die ich während der Arbeit an meiner Dissertation gewann und über die ich ein Blog-Posting schrieb. Während ich den Artikel, den ich im vorherigen Absatz erwähnte, sehr gut finde, er aber wenig Aufmerksamkeit erhält, verhält es sich mit diesen Daten exakt umgekehrt: Ihr Gehalt ist meiner Meinung nach an Banalität kaum zu überbieten, dennoch war das Echo auf Posting und Datendeposit groß. Aus diesem Grund fügte ich sie auch zu den Selected Works hinzu: Anscheinend sehen andere einen Nutzen in den Daten, den ich nicht sehe. Impactstory weist für die Daten keine Tweets nach, altmetric.com hingegen 38. Topsy liefert keine Treffer, weder für eine Titel-Suche ohne Stopwords, noch für DOI- oder URL-Suche. Twitter liefert zwei Treffer für eine Titel-Suche ohne Stopwords, vier Treffer für eine URL-Suche, keinen Treffer bei einer DOI-Suche. Impactstory weist keinen MUC aus, altmetric.com hingegen einen, was sich mit den Mendeley-Informationen deckt. Die Daten finden keine Erwähnung in Wikipedia, folglich können auch keine Angaben zu Referenzen aus der Enzyklopädie überprüft werden.
  4. Herb, Ulrich (2013). Szientometrie 2.0: Zitate, Nutzung, Social Media Impact – Gütekriterien oder Messung des leicht Messbaren?
    Online: http://de.slideshare.net/uherb/2013-0208vdbkarlsruhe

    Diesen Vortrag hielt ich anlässlich einer Veranstaltung des Vereins Deutscher Bibliothekare (VDB) sowie des Berufsverbandes Information Bibliothek (BIB), Landesgruppe Baden-Württemberg, am KIT in Karlsruhe. Kurz nach der Veranstaltung stellte ich die Folien über die Plattform slideshare bereit. Impactstory gibt für die Folien neun Slideshare-Downloads, vier Slideshare-Favourites (sprich: vier Nutzer markierten die Präsenation als Favorit) und 760 Slideshare-Views (sprich: die Folien wurden 760 Mal in Slideshare betrachtet) aus. Die Angaben stimmen im Wesentlichen mit den Werten, die Slideshare selbst ausgibt, überein, nur bei den Views nennt Slideshare eine höhere Zahl, 761. Diese Diskrepanz dürfte aber bei der nächsten Aktualisierung der Impactstory-Daten behoben sein. Tweets wurden von Impactstory nicht nachgewiesen, ebenso wenig von Topsy (für eine Titel- und URL-Suche), Twitter selbst wies bei einer URL- und Titel-Suche einen Tweet (wie ich gestehen muss, meinen eigenen) mit vier Retweets und zwei Favorisierungen nach. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.

  5. Herb, Ulrich (2014). Predatory Publishing & Open Access: Verdirbt Geld die Wissenschaftskommunikation?
    Online: http://www.slideshare.net/uherb/2014-0318dpgherb-32450408

    Es handelt sich hierbei um einen weiteren Vortrag, diesen hielt ich anlässlich der 78. Jahrestagung der Deutschen Physikalischen Gesellschaft DPG in Berlin. Er findet sich unter den Selected Works, weil ich ihn für gut halte und weil es eine große Freude war, ihn zu halten – was vorrangig am immens interessierten und diskutierfreudigen Publikum lag. Genau wie im vorher erwähnten Fall stellte ich den Vortrag via Slideshare bereit. Laut Impactstory weist er in Slideshare 1.143 Views und fünf Downloads auf; beides deckt sich ungefähr mit den Slideshare-Informationen (1.144 bzw. fünf). Impactstory und Topsy weisen keine Tweets auf die Präsentation nach, Twitter selbst zwei. In Mendeley und Wikipedia (englisch-/deutschsprachig) ist der Vortrag nicht zu finden.

Mein Fazit fällt recht düster aus: Für meine Selected Works gelingt es Impactstory bei keinem der Items Impact-Werte exakt zu ermitteln. Impactstory erfasst Daten, zumindest für die Selected Works meines Profils, ungeheuer unvollständig. Auch werden anscheinend mitunter verschiedene Datenquellen für den selben Parameter genutzt: In der Regel wird die Anzahl der Tweets offensichtlich über Topsy bezogen (dies deckt sich mit Informationen, die ich über Impactstroy habe), teils aber, z.B. bei Item zwei, von altmetric.com. Jedoch scheint es auch nicht so, dass Impactstory immer Daten von altmetric.com nutzt, wenn altmetric.com diese anbietet: Zu Item drei kennt altmetric.com Daten, diese nutzt Impactstory aber nicht. Werden die Daten von altmetric.com übernommen, können sie aber (wie bei Item zwei) in Impactstory von den Werten in altmetric.com abweichen. Überdies war Topsy als Datenquelle völlig untauglich: Es konnten keine Tweets (weder über Titel- oder DOI- noch URL-Suche) gefunden werden, wohingegen Twitter selbst Werte für die Items lieferte. Auch die Anzahl der Wikipedia-Referenzen wurde in Impactstory falsch erfasst. Ähnlich verhält es sich mit den MUCs: Es gelingt Impactstory nicht, das Vorkommen der Items in Mendeley-Bibliotheken zu beschreiben. Hier patzt auch altmetric.com, das für Item zwei ebenfalls einen zu niedrigen Wert ausgibt. Allgemein könnte die falsche Erfassung zum Teil damit zu erklären sein, dass Impactstory Impact-Events vorrangig über das Auftauchen von DOIs zu ermitteln versucht. Allerdings ist nicht anzunehmen, dass Item eins in keiner der 74 Mendeley-Nutzerbibliotheken unter Erwähnung der DOI gespeichert wurde. Zumindest in meiner eigenen Mendeley-Bibliothek findet sich der Artikel unter Erwähung der DOI. Folglich sind die fehlerhaften Zahlen kaum alleine durch die mangelnde Nutzung von DOIs in Referenzdatensätzen zu erklären. Aber selbst wenn die Erfassung des Impacts über die DOI exakt wäre, hätte die Fokussierung auf die DOI fatale Folgen, unter anderem für Texte, die keine DOI kennen, weil sie nicht elektronisch vorliegen, oder für Werke, die zwar elektronisch vorliegen, aber nicht mit einer DOI versehen werden. Zweites dürfte vor allem Publikationen aus kleineren Verlagen betreffen, wie man sie häufig in Sozial- und Geisteswissenschaften findet. Eine der unbestritten wichtigsten Zeitschriften der deutschsprachigen Soziologie, die Zeitschrift für Soziologie ZfS, etwa nutzt keine DOIs für Artikel. Für solche Artikel können Altmetrics-Dienste, die Resonanz über DOI-Parsing erfassen wollen, niemals Impact-Werte ermitteln, egal wie wertvoll ein Werk ist.

 

[cite]

 

 

Mindmap: Acceptance of AltMetrics

As moderators of the OAI Breakout Group on AltMetrics Daniel Beucke and I would like to invite the Twitter Community to contribute ideas to our discussion. The Breakout Group focusses on steps to improve the acceptance of Altmetrics. We will record the discussion with a mindmap (s. below). Whoever wants to follow the discussion live should reload this page regularly. Whoever wants to contribute ideas via Twitter should use the hashtag #altmetricsmap. Please note: The discussion will probably not start before 4:45 pm. The introducing presentations from the Breakout Group are embedded below.

Update, 2013-06-21: We updated the map according to the results of the discussion, you are still invited to give us further feedback via email oder twitter (@scinoptica or @dmetje).

You may also download an export of the map here:

Beucke, D., & Herb, U. (2013, June 20). Mindmap: Acceptance of AltMetrics. Zenodo. http://doi.org/10.5281/zenodo.7445, DOI:10.5281/zenodo.7445

This news might also be of interest: The NISO announced to develop Standards and Recommended Practices for AltMetrics.

 

ResearchGate startet Zitationszählung und Profilverifikation

Nachdem das Wissenschaftler-Facebook ResearchGate kürzlich mit dem RG Score eine recht facettenreiche interne Impact-Messung implementierte, wird diese nun durch Zitationszählung ergänzt. Laut Auskunft des Anbieters wird dazu eine eigene Literaturdatenbank genutzt, die teils andere Datenbanken (z.B. PubMed) auswertet. Zudem werden Verweise aus Dokumenten und auf Dokumente erfasst, die von Wissenschaftlern selbst in ResearchGate hochgeladen wurden. Da Wissenschaftler nicht nur Textpublikationen, sondern genauso andere Objekte, wie Datensätze oder negative Resultate, in ResearchGate publizieren können, wird auch ein Zitationstracking dieser Objekttypen ermöglicht. Die Zitationen werden über Parsing durch eine eigenentwickelte Software ermittelt. Registrierte Nutzer können Zitationen auf Ihre Werke selbst markieren, ein Ablehnen ermittelter eingehender Zitationen ist derzeit noch nicht möglich.

Der Pressemitteilung zufolge werden Autoren umgehend benachrichtigt, wenn ein neues Zitat ihrer Forschungsarbeit erkannt wurde. Die Informationen sind kostenlos einsehbar, eine API, um sie in andere Systeme zu überführen oder einzuspeisen existiert im Moment nicht, ist aber nach Auskunft des Services in der Entwicklung. Hinsichtlich der Nutzungsbedingungen oder Lizenzen, unter denen die Daten zugänglich gemacht werden, liegen mir aktuell keine Informationen vor. Die Zitationszählung wird nicht umgehend in den RG Score einfließen, soll aber nach Verlautbarung ResearchGates bald eingebunden werden. Zeitgleich mit dieser Funktion wird ein weiteres neues Feature gelauncht: Mittels der sogenannten Endorsements können Forscher ihr fachliches Profil sowie ihre Qualifikationen besser als zuvor gewohnt präsentieren und von Ihren Fachkollegen bestätigen lassen. Die Validierung der eigenen Angaben soll diese vertrauenswürdiger und die Recherche nach Experten verlässlicher machen.

 

Alternative Metrik: ResearchGate launcht RG Score

Vergangene Woche begann das Social Network für Wissenschaftler ResearchGate mit der schrittweisen Freigabe einer eigenen Metrik zur Bestimmung der wissenschaftlichen Wirkung eines Forschers. Klassischerweise wird der Journal Impact Factor (JIF) genutzt, um wissenschaftliche Reichweite und Bedeutung zu beschreiben. Allerdings handelt es sich beim JIF um eine sehr umstrittene Metrik: Sie wird aus Zitationsraten wissenschaftlicher Journale ermittelt wird und kann so, wenn überhaupt, die Wirkung dieser Zeitschriften in der Wissenschaftskommunikation erfassen. Aufgrund seiner Methodik ist der JIF allerdings ungeeignet die wissenschaftliche Reputation eines Forschers zu beschreiben. Der RG Score, die neue Metrik des 2 Millionen User zählenden Forscher-Facebooks, wählt einen umfassenderen Ansatz und konstruiert ein facettentenreicheres Modell des wissenschaftlichen Impacts einer einzelnen Person. Er bezieht alle erdenklichen Beiträge und Interaktionen innerhalb des Social Networks mit ein, um die wissenschaftliche Reputation eines Forschers zu bestimmen. Ausgewertet werden alle Aktionen, die User im Netzwerk ausüben können, wie das Stellen oder Beantworten von Fragen, sowie alle nur möglichen Interaktionen mit Items, die Wissenschaftler in ResearchGate verwalten können, wie etwa Rohdaten, Grafiken, Publikationen oder Resultate: Jedes Bookmarking eines Datensatzes oder einer Publikation, jedes Drücken des „Vote“-Button, jedes Teilen oder Followen im internen Microblogging erhöht den Score des ursprünglich publizierenden oder teilenden Forschers. Die Höhe der erworbenen Reputation hängt dabei von der bestehenden Reputation des bewertenden, bookmarkenden oder folgenden Forschers ab. Jeder Nutzer kann im eigenen Profil prüfen, wie sich der RG Score durch bestimmte Interaktionen, wie etwa durch Fragen und Antworten in Foren oder die Bewertung von Publikationen, verändert. Um Manipulationen und Missbrauch zu vermeiden, werden weder die exakte Gewichtung einzelner Komponenten, noch die Formel des Scores als Ganzes von ResearchGate öffentlich gemacht.
Ziel ist es für alle Schritte des Forschungsprozesses eine Gratifikationsmöglichkeit zu schaffen, um über diese Reputation zuweisen und erwerben zu können. ResearchGate Mitbegründer und CEO Dr. Ijad Madisch beschreibt den RG Score als interaktives Bewertungssystem: „Es spiegelt die Meinungen der Menschen wider, auf die es ankommt: die der Wissenschaftler selbst”. Die Metrik soll, anders als der JIF, den Stellenwert eines Forschers innerhalb seiner Community beschreiben und könnte perspektivisch vielfältige Verwendung finden. So könnte er als Entscheidungshilfe bei der etwaigen Förderungen von beantragten Drittmittelprojekten dienen oder Berufungsentscheidungen beeinflussen. Madisch beschreibt den RG Score, im Gegensatz zum JIF, als Impact Metrik für das digitale Forschungszeitalter: „Das etablierte Journal System hat sehr viel für Qualität und Verbreitung von Forschungsergebnissen getan. Es ist in seiner Struktur aber nicht geeignet das massive Potenzial digitaler Medien für die Forschung zu nutzen. Wir wollen mit dem RG Score eine Erweiterung des bestehenden Systems schaffen und es Forschern ermöglichen alle Resultate – ob positiv oder negativ, ob Rohdaten oder Troubleshooting Communications – zu publizieren, transparent Feedback zu geben und dies in einer vergleichbaren Metrik zu evaluieren.“
Neben dem Score gibt ResearchGate peu à peu einen weiteren Relevanzindikator frei: Hinter den Traffic Stats verbergen sich Statistiken, die  Aufschluss über die Häufigkeit geben, mit der Forscherprofile und Publikationen aufgerufen wurden sowie Publikationen und Daten heruntergeladen wurden.