Open Review mit PaperCritic?

Der Service PaperCritic greift auf Mendeleys Datenbestand zu und erlaubt es registrierten Mendeley-Nutzern, offene Reviews zu verfassen. Begutachtet werden können Paper, die in Mendeley erfasst wurden und deren Metadaten dort zugänglich sind; bibliographische Nachweise, die ausschließlich in geschlossenen Gruppen vorliegen, sind anscheinend ausgeschlossen. Für diejenigen, die diesen Dienst nicht kennen: Mendeley bietet eine Online-/Offline-Literaturverwaltung, inklusive Kollaborationswerkzeugen und Integration in Textverarbeitungssoftware. Da Mendeley die Metadaten der erfassten Publikationen über eine API bereitstellt, können andere Services auf den Informationen aufbauen. So macht es auch PaperCritic, das sich wie folgt in Fragen der Wissenschaftskommunikation positioniert:

„Right now, the only acceptable way of presenting one’s academic work and obtaining critical reviews for it is through the tedious and obscure submit-and-wait process. Here at PaperCritic, we find this way of promoting science severely outdated and simply unacceptable. It is for this reason that we offer researchers a way of obtaining feedback for their scientific work, and everybody interested a way of providing it, in a fully open and transparent environment. „

 

Mendeley übernimmt demnach die Verwaltung und Präsentation der Publikationsdaten, die Begutachtungsfunktion stellt PaperCritic. Die angedeutete Konkurrenz zur oft geheimbündlerischen Peer-Review dürfte PaperCritic eher nicht darstellen, da die verfügbaren Metadaten weit überwiegend bereits publizierte Dokumente beschreiben, immerhin ermöglicht es aber eine offene Post Publication Review. Vielleicht findet die Idee ja adaptive Nachahmungen und E-Publikationsplattformen bedienen PaperCritic, so dass Preprint-Server eine Open Review über den Dienst anbieten können.

Zurück zu den Funktionalitäten des Services: Wer eine Review verfassen will, kann dies entweder aus der PaperCritic-Oberfläche nach Recherche einer Publikation tun oder per Klick aus dem Mendelely-Interface, während er die Metadaten einer Quelle betrachtet. Dazu muss er zuvor seinen Lesezeichen den PaperCritic-Button hinzufügen. PaperCritic ist leider nicht in die Mendeley Desktop-Software integriert.

Publikationen können folgendermaßen bewertet werden: Zum Rating der Merkmale References, Originality, Argumentation und Readability stehen fünf-stufige Skalen zur Verfügung. Zusätzlich wird abgefragt, ob man das Werk anderen empfehlen würde und wie man den Anspruch des Textes einordnet (Introductory, Intermediate oder Advanced). Hübsch: Wer ein Dokument reviewed muss auch offen legen, welches Ausmaß an Sachkenntnis er bezüglich des Dokumentinhalts aufweist: Ist man Beginner, Intermediate oder wirklich Expert? Fraglich könnte sein, ob die Selbsteinschätzung immer einer externen Validierung standhielte.

Mein Fazit nach zugegebenermaßen kurzem Test: Wie oben erwähnt, zweifele ich, ob viele Mendeley-User Dokumente mit PaperCritic begutachten. Dazu wird meist der Anreiz fehlen und die wenigsten Nutzer werden ein bereits publiziertes Paper bewerten. Obendrein fehlt der Belohnungscharakter: Während eine Gutachter-Tätigkeit für ein Journal die Reputation eines Wissenschaftlers durchaus mehren kann, dürfte ein Beitrag in PaperCritic nur in bescheidenem Ausmaß wissenschaftliche Aura verleihen. Da eine gute Review Zeit in Anspruch nimmt (die wiederum durch fachliche Anerkennung aufgewogen sein will), könnte das zum Vertexten der Review angebotene Feld selten und knapp gefüllt werden. Dennoch: Das Konzept hat Charme und bietet Recherchierenden eine Orientierungshilfe. Diese wäre aber unverhältnismäßig größer, wenn man die PaperCritic-Ratings auch in Mendeley einbände. Interessanter erschiene (wie oben erwähnt) eine Verknüpfung von Preprint-Servern mit einer Plattform im Stile von PaperCritic, die die Recherche der Bewertungen (oder deren Verwendung als Metadatum) im Publikationsserver einschließen müsste.

 

 

 

Kommentar verfassen / Leave comment