Peer Review Showroom bei RePEc

RePEc, das Nachweisinstrument zu Publikationen und Preprints in den Wirtschaftswissenschaften, stellt seinen Nutzern einen neuen Service zur Diskussion: Ein Peer Review Showcase für herausragende Gutachten zu Artikeln aus den Wirtschaftswissenschaften. Der Ansatz des Vorhabens ist lobenswert und überfällig: Das Verfassen einer guten Review zu einem eingereichten Artikel ist aufwändig und verbessert diesen spürbar. Die Review kann leicht sogar besser als die Submission ausfallen. Zudem ist die  Reviewertätigkeit eine Last, auch weil in Zeiten steigenden Publikationsdrucks immer mehr Gutachten verfasst werden müssen. Zudem, das ist altbekannt, verzehren die schlechtesten Artikel, die fortwährend abgelehnt und bei anderen Journals neu eingereicht werden, in der Summe die meiste Zeit. Neben dem von RePEc zur Diskussion gestellten Showcase gibt es auch andere Ansätze, dem Gutachten respektive dem Reviewer Anerkennung zu verschaffen. In Atmospheric Chemistry and Physics wird die Review mit dem publizierten Artikel veröffentlicht und so Teil der Wissenschaftskommunikation; nebenbei dürfte die Gewissheit einer Veröffentlichung der Review deren Qualität erhöhen. Andere Überlegungen zielen drauf, die Mühen der Gutachter durch eine Art Reviewer Index zu entlohnen, der ihren Beitrag zur wissenschaftlichen Kommunikation ähnlich zu quantifizieren versucht, wie es der Hirsch-Index oder andere Kennziffern versuchen – aber eben nicht auf Basis der Zitationen eigener Artikel, sondern anhand der von Wissenschaftlern verfassten Gutachten.

Im RePEc Showroom reichen Editors als veröffentlichungswürdig erachtete Reviews ein, nachdem sie bei Autoren und Gutachtern die Erlaubnis dazu eingeholt haben. Die Gutachter können auf Wunsch bei Publikation ihrer Reviews anonym bleiben. Dies läuft zwar dem Gratifikationsmodell zuwider, schützt sie aber vor akademischer Rache in Fällen, in denen die Einreichung letztlich abgelehnt wurde. Aber selbst dann kann das Journal mit Publikation der Gutachten auf die Qualität der Begutachtung verweisen. Und ja: Auch ablehnende Reviews können im Showroom publiziert werden. Die Auswahl, welche Gutachten letztlich publiziert werden, obliegt dem RePEc-Stab. Veröffentlichte Reviews sollen, sofern möglich, mit dem begutachteten Artikel verlinkt werden.

Die Zukunft des Peer Review Showrooms ist offen, seine Einrichtung wurde gestern den Editors in der Community vorgeschlagen, die sich nun zur Umsetzung der Idee äußern können.

 

Literatur

Baveye, P. C., & Trevors, J. T. (2010). How Can We Encourage Peer-Reviewing? Water, Air, & Soil Pollution, 214(1-4), 1-3. doi:10.1007/s11270-010-0355-7. Online: http://www.springerlink.com/index/d7713174398576ml.pdf

Huggett, S. (2010). In recognition of peer reviewers. Research Trends, (18), 10-11. Online: http://info.scopus.com/researchtrends/pe_foc_18.html

Pöschl, U. (2006). Open Access & Collaborative Peer Review: Öffentliche Begutachtung und interaktive Diskussion zur Verbesserung von Kommunikation und Qualitätssicherung in Wissenschaft und Gesellschaft. In S. Hornbostel & D. Simon (Eds.), Wie viel (In-) Transparenz ist notwendig? : Peer Review revisited (iFQ Workin., pp. 43-46). Institut für Forschungsinformation und Qualitätssicherung. Online: http://www.forschungsinfo.de/publikationen/download/working_paper_1_2006.pdf

 

Aktualisierte Übersetzung der Open Knowledge Definition

Seit gestern ist die deutschsprachige Übersetzung der Version 1.1 der Open Knowledge Definition (OKD) online:  http://opendefinition.org/okd/deutsch/. Am 29.07. hatten Christian Hauschke und ich einen ersten Übersetzungsentwurf der besagten Version online gestellt und um Diskussion gebeten. Christian hatte früher schon die Version 1.0 der OKD in die deutsche Sprache übersetzt. Die neue Übersetzung wurde äußerst intensiv in einem Pad diskutiert, sie ist Ergebnis eines intensiven Austauschs zahlreicher Diskutanten, bei denen wir uns vielmals bedanken möchten.

Die Map of Scholarship der Eigenfactor-Macher

Vor knapp einer Woche berichtete Jennifer Howard im Chronicle of Higher Education von einer interessanten, auf Zitationsdaten basierenden Visualisierung der Wissenschaftslandschaft und bezeichnet diese als Map of Scholarship.

Die Karte, so Howard, helfe hot topics der Forschung ebenso zu identifizieren wie die unerforschten Nischen. Weiterhin könne das Tool genutzt werden, um relevante Informationen zu entdecken, die man bislang übersah, etwa weil sie in Journals erschienen, die auf der eigenen Leseliste fehlen. Last but not least ist es möglich, mittels der Daten Empfehlungsdienste aufzubauen, die Wissenschaftler von der Last der Recherche befreien und ihnen aktiv Literatur vorschlagen.

Der Service basiert auf den Auswertungen des Rankings Eigenfactor, zu dem es auch personelle Verbindungen gibt: Zwei der drei Schaffer der Map, namentlich Carl T. Bergstrom und Jevin D. West entwickelten 2007 das Journalranking, komplettiert werden sie nun durch Martin Rosvall.

Genau wie der Journal Impact Factor JIF versucht Eigenfactor, den Einfluss respektive die Wirkung eines Journals aus der Häufigkeit, mit der dieses Journal zitiert wird, abzuleiten. Das Zustandekommen eines Eigenfactor-Scores unterscheidet sich vom JIF-Score vor allem in folgender Hinsicht:

  • Scope: Während bei der Berechnung des JIF nur Zitationen berücksichtigt werden, die aus einer der 7.000 in der Datenbank Journal Citation Reports indexierten Zeitschrift stammen, wertet Eigenfactor Zitation aus mehr als 110.000 zusätzlichen Quellen aus.
  • Gewichtung: Während der JIF alle Zitationen, die auf eine Zeitschrift eingehen, gleich bewertet, haben für den Eigenfactor Zitationen aus häufig zitierten Zeitschriften einen höheren Wert als Zitationen, die aus selten zitierten Zeitschriften stammen.
  • Zeitfenster: Das JIF-Zeitfenster beträgt zwei Jahre, das des Eigenfactor fünf Jahre.
  • Selbstzitationen: Bei der Berechnung der JIF-Werte werden Selbstzitationen (Journal A zitiert Journal A) nicht eliminiert, beim Eigenfactor werden sie herausgerechnet.

Zudem können die Eigenfactorwerte im Unterschied zum JIF kostenlos recherchiert werden. Die Daten zur Erstellung dieser  Map of Scholarship stammen von Thomson Scientific (genauer: aus dessen Journal Citation Reports), Microsoft Academic Search, dem Social Science Research Network SSRN und JSTOR.

Bislang ist das Tool noch nicht freigegeben, dieser Schritt soll aber gegen Ende des Jahres nach intensiven Tests folgen. Gefördert wird das Vorhaben unter anderem von der National Science Foundation NSF, die ebenfalls Johan Bollen unterstützt. Die NSF will, das ist dem Bericht im Chronicle zu entnehmen, weitergehende szientometrische Analysen von Zitationsdaten und Nutzungsinformationen wissenschaftlicher Dokumente ermöglichen.Johan Bollen hat unter anderem im Projekt mesur nachgewiesen, dass Nutzungsmuster wissenschaftlicher Journals deren Impact besser abbilden können als Zitationen und er hat wunderschöne Visualierungen der Wissenschaftswelt (er nannte sie Map of Science), berechnet aus Nutzungsmustern wissenschaftlicher Journale, produziert:

 

Bollen, J., Van de Sompel, H., Hagberg, A., Bettencourt, L., Chute, R., Rodriguez, M. a, & Balakireva, L. (2009). Clickstream data yields high-resolution maps of science. PloS one, 4(3), e4803. doi:10.1371/journal.pone.0004803

Map of Science, aus Bollen et al. (2009)

 

 

Literatur:

Bollen, J., Van de Sompel, H., Hagberg, A., Bettencourt, L., Chute, R., Rodriguez, M. a, & Balakireva, L. (2009). Clickstream data yields high-resolution maps of science. PloS one, 4(3), e4803. doi:10.1371/journal.pone.0004803, online: http://www.plosone.org/article/info:doi/10.1371/journal.pone.0004803

Howard, J. (2011). Citation by Citation, New Maps Chart Hot Research and Scholarship’s Hidden Terrain. The Chronicle of Higher Education, (11. September). Online: http://chronicle.com/article/Maps-of-Citations-Uncover-New/128938/

Rosvall, M., & Bergstrom, C. T. (2010). Mapping change in large networks. PloS one, 5(1), e8694. doi:10.1371/journal.pone.0008694, online: http://www.plosone.org/article/info:doi/10.1371/journal.pone.0008694

 

Open Access in den Sozialwissenschaften – versäumte Gelegenheiten und Chancen

„Die Soziologie hinkt hinterher. Ökonomen zum Beispiel vertrauen schon lange nicht mehr dem Markt, sondern sind nach den Hochleistungsphysikern quantitativ weltweit die Nr. 2 im Zurverfügungstellen von Papers in Open Access Repositories. Zugleich zeigen Studien, dass SoziologInnen von allen Disziplinen am meisten profitieren, wenn sie Open Access publizieren (entweder „golden“, d.h. in Open Access Büchern oder Journalen, oder „grün“, d.h. mit  Postprints in Open Access Repositories nach konventioneller Papierpublikation)“– so Gerhard Fröhlich in seiner Ankündigung des Panels „Open Access in den Sozialwissenschaften – versäumte Gelegenheiten und Chancen“ beim diesjährigen Dreiländer-Soziologie-Kongress der Österreichischen Gesellschaft für Soziologie, der Schweizerischen Gesellschaft für Soziologie und, nicht zu vergessen, der Deutschen Gesellschaft für Soziologie in Insbruck vom 29.09. bis 01.10.2011.

Leider kann ich mich nicht an der Veranstaltung beteiligen, würde die Problematik aber liebend gern mit den Kollegen vor Ort diskutieren und wünsche den Ausrichtern lebhafte Diskussionen über Open Access und vielleicht sogar die Open Social Science, die mich besonders interessiert. Allen SoziologInnen, die an der Tagung teilnehmen, kann ich den Besuch des Panels nur wärmstens empfehlen.

OKF-de: Antworten zur online survey on scientific information in the digital age der European Commission

Daniel Mietchen, Adrian Pohl und ich haben für die Open Knowledge Foundation Deutschland die Fragen der online survey on scientific information in the digital age der European Commission beantwortet. Daniel Dietrich hatte am 18.08. über die Mailingliste der OKF-De gebeten, jemand möge sich des Fragebogens annehmen. Ich hatte mich über die Liste bereit erklärt und um Unterstützung gebeten, so kam es zur Zusammenarbeit der genannten OKFler. Das Ergebnis, sprich die Antworten, können hier eingesehen werden: http://wiki.okfn.de/OA_EC

Um Weiterverbreitung der Informationen wird gebeten: Die Consultation endet morgen und vielleicht können unsere Antwortvorschläge wegen Zeitmangels Zögernde zum Beantworten der Survey bewegen.

Besprechung: Collaborative platforms for streamlining workflows in Open Science

Bei der vergangen Open Knowledge Conference präsentierten die Kolleginnen und Kollegen Konrad U. Förstner, Gregor Hagedorn, Claudia Koltzenburg, M. Fabiana Kubke und Daniel Mietchen Überlegungen zu „Collaborative platforms for streamlining workflows in Open Science“. Leider konnte ich an der Session nicht teilnehmen, da aber Jenny Molloy dankenswerter Weise alle OKCon-Beiträge zum Thema Open Science in Listen (Tag 1 der OKCon, Tag 2 der OKCon) zusammenführte, konnte ich das sechsseitige Paper zum erwähnten Vortrag zumindest lesen und möchte dessen Lektüre empfehlen. Zwar betonen die Autorinnen und Autoren, dass die Bausteine zum Erstellen des skizzierten Workflows bereits existieren, dennoch finde ich die durchgehende und konsequente Verfolgung der Prinzipien Offenheit, Transparenz, Kollaborativität und Wiederverwertbarkeit der einzelnen Produkte wissenschaftlicher Arbeits- und Projektabläufe sehr interessant und verfolgenswert. Vor allem aber unterscheidet sich der vorgeschlagene, integrierte Workflow von bekannten Konzepten Virtueller Forschungsumgebungen oder sozialer Wissenschaftlernetzwerke durch einen holistischen Ansatz.

Bereits die Projektformulierung folgt dem Crowd-Modell und nutzt die „collective intelligence“ zur Verbesserung des Untersuchungsdesigns und zur Vermeidung von Mehrfacharbeit. Mehrfacharbeit soll auch in der Experimentalphase durch ein hohes Ausmaß an Automatisierung vermieden werden, die Ergebnisse dieser Experimentalphase sollen wiederum schnellstmöglich (im Idealfall im Moment der Erzeugung) online bereitgestellt werden. Die Wahl der Datenformate, in denen die Informationen gespeichert und zugänglich gemacht werden, sollen Re-Analysen und Wiederverwendbarkeit erlauben, sie sollen darum nicht-proprietär und maschinenlesbar sein sowie semantische Anreicherung erlauben. Auch die Datenanalyse hat, so die Autorinnen und Autoren, den Geboten der Transparenz und Überprüfbarkeit zu folgen: Daher sollen unter anderem alle Schritte der Datenbearbeitung und -verarbeitung protokolliert und zugänglich gemacht werden. Gleiches gilt übrigens für die Diskussion und Interpretation der Auswertungsergebnisse, deren Dokumentation es nachzuvollziehen erlaubt, wie Ergebnisse und Erkenntnisse zustande kamen (wir sollen nicht vergessen, dass wissenschaftliche Erkenntnisse auch soziale Produkte sind). Auch die Publikation (als Kondensat des Projektverlaufs von Beantragung bis Datenauswertung und -interpretation) wird im skizzierten Workflowsystem abgewickelt. Allerdings ist diese Publikation anders als traditionelle Publikationen: Sie bündelt gewissermaßen Berichte über Items, die als Produkte des Projektverlaufs an unterschiedlichen Punkten des Workflows anfallen, und verlinkt auf diese. Die Publikation greift potentiell auf alle im Laufe des Forschungsprozesses angefallenen Informationsitems zurück: Diskussionen der Ergebnisse, Auswertungen, Rohdaten und Projektskizzen. Nahezu überflüssig zu erwähnen, dass der Workflow eine Open Review der Publikation möglich machen soll und eine Lizenzierung der Informationen unter Creative Commons Lizenzen gefordert wird.

Konrad U. Förstner, Gregor Hagedorn, Claudia Koltzenburg, M. Fabiana Kubke & Daniel Mietchen: Collaborative platforms for streamlining workflows in Open Science. OKCon 2011, Berlin, 01.07.2011.

Disputindex: Wikipediainformationen als Indikator für geopolitische Stabilität

Vor zwei Tagen berichtete Gianna-Carina Grün in ZEIT online über den Versuch, mittels Wikipedia-Informationen die Stabilität von Staaten zu bestimmen. Ihr Beitrag „Mustererkennung: Wikipedia weiß, wie stabil ein Staat ist“ bezieht sich auf eine PLoS One Publikation, die mir entgangen war.

In „Content Disputes in Wikipedia Reflect Geopolitical Instability“ stellen Gordana Apic, Matthew J. Betts & Robert B. Russell die Prinzipien des Disputindex dar. Dieser berücksichtigt zwar Informationen aus der Wikipedia, allerdings nutzt er statt der Artikelinhalte die prozessualen Metainformationen. Er wertet aus, wie oft von einem umstrittenen Wikipedia-Beitrag auf die Wikipedia-Hauptseite eines Landes verlinkt wird. Als umstritten gelten Artikel, über deren Inhalt mindestens einmal innerhalb der Wikipedia diskutiert wurde. Robert B. Russel äußert sich im ZEIT-Text zufrieden, die Index-Werte korrelierten weltweit mit politischen Instabilitäten.

Nach Ansicht der Autoren liegen die Vorteile des Disputindexes gegenüber anderen Indikatoren zur Bestimmung der geopolitischen Stabilität in der Aktualität sowie der Transparenz des Index. Zudem sei der Index weniger an die Einschätzung einzelner Experten gebunden als herkömmliche Verfahren. Mir erscheint höchst interessant, dass der Disputindex anstelle der eigentlichen sinntragenden Texte die Diskussionen auswertet: Das Vorgehen illustriert, wie schon in meiner Besprechung zum  „Paper Collaborative platforms for streamlining workflows in Open Science“ angerissen, die Wichtigkeit der offenen Zugänglichkeit solcher Prozessinformationen.

 

Links und Literatur:

Disputindex: Visualisierung und Disput-Timeline einzelner Staaten

Gianna-Carina Grün: Mustererkennung: Wikipedia weiß, wie stabil ein Staat ist. ZEIT online, 20.7.2011.

Apic G, Betts MJ, Russell RB (2011) Content Disputes in Wikipedia Reflect Geopolitical Instability. PLoS ONE 6(6): e20902. doi:10.1371/journal.pone.0020902, URL: http://www.plosone.org/article/info/doi:10.1371/journal.pone.0020902

Neuer Übersetzungsentwurf der Open Knowledge Definition

Die Open Knowledge Definition (OKD) definiert anhand von 11 Klauseln offenes Wissen (oder Open Knowledge). Verkürzt gesagt sind danach Wissensinhalte oder Daten offen, wenn jede Person sie frei (also ohne Restriktionen) nutzen, zu eigenen Zwecken weiterverwenden und ändern sowie weiterverteilen kann. Diese Kernaussagen der Open Definition, die letztlich eine Übertragung des Open-Source-Prinzips auf Wissensinhalte beabsichtigt, werden in den erwähnten 11 Klauseln ausgeführt und beschrieben. Während die englischsprachige Version der OKD in Version 1.1 [http://www.opendefinition.org/okd/] vorliegt, bezieht sich die derzeitige deutsche Übersetzung auf die OKD-Version 1.0. Aus diesem Grund wurde ein neuer Übersetzungsvorschlag gemacht, der unter der Adresse http://primarypad.com/openknowledgeuebersetzung veröffentlicht ist.

Die Verfasser des aktuellen Übersetzungsvorschlages, Christian Hauschke und Ulrich Herb, bitten alle Interessierten bis zum 21.08.2011 um eine Diskussion und Kommentierung der Ergebnisse, idealerweise im oben verlinkten Dokument. Dies gilt keinesfalls nur, aber insbesondere für die Formulierungen, bei denen sie im Dokument um Rückmeldungen bitten. Weiterhin werden alle Leser dieses Aufrufs darum gebeten, ihn weiter zu verbreiten.