Wissenschaftliches Publizieren – Zwischen Digitalisierung, Leistungsmessung, Ökonomisierung und medialer Beobachtung

Kürzlich publizierten Peter Weingart und Niels Taubert einen Sammelband, der Lesern dieses Blogs und meiner Arbeiten wohl interessant erscheinen dürfte, die Beiträge im Open-Access-Werk befassen sich mit der Diversität wissenschaftlichen Publizierens, Open Access, Open Science, Qualitätssicherung, Peer Review, Predatory Publishing, der Evaluierung von Wissenschaft, Impact und verwandten Themen.

Die bibliographischen Angaben lauten:

Weingart, Peter; Taubert, Niels (Hrsg): Wissenschaftliches Publizieren –
Zwischen Digitalisierung, Leistungsmessung, Ökonomisierung und medialer
Beobachtung. De Gruyter, 2016.
https://www.degruyter.com/viewbooktoc/product/463455

Hier das Inhaltsverzeichnis:

 

 

Open Science in der Soziologie – Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie

Am 18.09. ist meine Dissertation zum Thema „Open Science in der Soziologie – Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie“ erschienen. Sie ist sowohl im Print zu einem Preis von 36,80 € bestellbar (Bestellmöglichkeit beim Verlag Werner Hülsbusch oder via u1_hi67_herb_rgb_72dpi_400px_breitAmazon) als auch im Open Access via Zenodo oder SciDok verfügbar. Dem Verlag will ich für seine Unterstützung und unbürokratische Open-Access-Politik danken und kann ihn Kolleginnen und Kollegen nur empfehlen.

Die bibliographischen Angaben lauten:

Ulrich Herb (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie.  Schriften zur Informationswissenschaft; Bd. 67 [Zugleich: Diss., Univ. des Saarlandes, 2015]. Verlag Werner Hülsbusch : Glückstadt. ISBN 978-3-86488-083-4. DOI: 10.5281/zenodo.31234 oder URN: urn:nbn:de:bsz:291-scidok-62565. Hardcover, Fadenheftung, VIII + 492 S., zahlr. teilw. farb. Abb.
Hier auch der Klappentext:
Open Science, die offene Wissenschaft, zielt auf die möglichst umstandslose Nutzbarkeit und Verfügbarkeit weitgehend aller im Forschungsprozess anfallenden Informationen, in erster Linie von Textpublikationen, Forschungsdaten und Forschungssoftware. Überdies soll sie auch Transparenz in wissenschaftliche Arbeit moderierende Prozesse (wie die Begutachtung bzw. den Review von Textpublikationen) und in die Gewinnung von zur Bewertung von Wissenschaft herangezogenen Parainformationen (Impact-Metriken) bringen. Open-Science-Befürworter versprechen sich hiervon eine effizientere, innovationsfreundlichere und transparentere Wissenschaft, denn offene Informationen können schneller und leichter verbreitet und nachgenutzt sowie überprüft werden als nicht-offene.
Die Arbeit basiert auf einer fachübergreifenden Bestandsaufnahme der Open-Science-Elemente Open Access zu Textpublikationen, Open Access zu Forschungsdaten, Open Access zu Forschungssoftware, Open Review und Open Metrics, die allesamt typischerweise eher in den STM-Fächern (Science, Technology, Medicine) zu finden sind als in den Sozial- oder Geisteswissenschaften. Ausgehend von dieser Synopse widmet sie sich weitergehend den fachinhärenten Spezifika der Soziologie, die gemeinhin als Nachzüglerin der Open Science betrachtet wird, und untersucht empirisch die Prävalenz und Relevanz von Open Access zu Textpublikationen, Open Access zu Forschungsdaten, Open Access zu Forschungssoftware, Open Review und Open Metrics in der Soziologie.

Sollten Reviewer wissenschaftlicher Artikel eine Vergütung erhalten?

Vor knapp einem Jahr referierte ich bei der 78. Jahrestagung der Deutschen Physikalischen Gesellschaft DPG zum Thema Predatory Publishing & Open Access: Verdirbt Geld die Wissenschaftskommunikation? – dabei entspann sich eine wahrhafte interessante Diskussion darüber, ob Gutachter wissenschaftlicher Journale für ihre Reviews entlohnt werden sollten. Die Ansichten divergierten und auch die Entwicklungen im wissenschaftlichen Publikationswesen gehen, was die Frage der Gratifikation von Reviews betrifft, auseinander: So finden sich neben symbolischen auch monetäre Entlohnungen, die allerdings Open-Access-Fonds oder der Community gestiftet werden können. Mehr dazu in meinem Telepolis-Beitrag (Wie) sollen Gutachter wissenschaftlicher Journale entlohnt werden?

Science & Open Access: Ein angespanntes Verhältnis

Vor knapp zwölf Monaten erschien im Journal Science ein Artikel John Bohannons, der Open-Access-Zeitschriften pauschal eine funktionierende Qualitätssicherung absprach. Bohannons Artikel „Who’s afraid of Peer Review?“ unterlag einiger Kritik, warf aber dennoch Zweifel an der Vertrauenswürdigkeit des Open Access auf. Überraschenderweise kündigte die Herausgeberin von Science, die American Association for the Advancement of Science (AAAS), an, mit Science Advances selbst ein Open-Access-Journal aufzulegen. Selbstredend verlangt Science Advances für die Publikation der Artikel von den Autoren Gebühren, die Höhe der Gebühren wurde kürzlich bekannt, ebenso die Lizenz-Politik des Journals – sowohl Gebühren als auch Lizenz Policy forderten Kritik der Wissenschaftler heraus. Dazu ist gestern ein Artikel in Telepolis erschienen: Wissenschaftsjournal Science will Open-Access-Zeitschrift gründen.

Zur Vorgeschichte der etwas verklemmten Beziehung zwischen Science, AAAS und Open Access:

Die Anfälligkeit der Wissenschaftszeitschriften für Fälschungen

Vor knapp einem halben Jahr publizierte John Bohannon seinen Beitrag „Who is afraid of Peer Review?“ im Wissenschaftsmagzin Science. Er sprach darin Open Access Zeitschriften recht pauschal die Qualitätsicherung ab, da diese sich teils (um genau zu sein: sehr selten) über Publikationsgebühren finanzieren und daher – so Bohannon – geneigt seien, gegen Zahlung jedes Paper mehr oder minder ungeprüft zu publizieren. Seither hat nicht nur die Science herausgebende American Association for the Advancement of Science (AAAS) selbst ein Open Access Journal angekündigt, das sich über Artikelgebühren finanziert und das, nimmt man Bohannons Interpretation an, ebenfalls unter einem deutlichen Qualitätsvorbehalt zu stehen hätte. Nein, es zeigte sich, wie schon in einem Telepolis-Artikel über Bohannons Attacke auf Open Access ausgeführt, kürzlich wieder einmal, dass sich miserable Qualitätssicherung nicht nur in Open Access, sondern in gleicher Weise auch in Closed Access Journalen findet. Betroffen waren diesmal Publikationen der Verlage IEEE und Springer, mehr dazu wiederum in Telepolis.

Die Bewertung der Peer Review?

Artikelvorschläge, die Forscher zur Publikation in einer wissenschaftlichen Zeitschrift einreichen, werden häufig der Peer Review, einer Begutachtung durch Experten unterzogen. Die Anwendung der Peer Review verbreitet sich immer weiter und man findet das Verfahren zusehends auch bei der Publikation wissenschaftlicher Konferenzbände oder Sammelbände. Die Peer Review unterliegt mitunter starker Kritik, die sich vor allem auch an der Asyemtrie des Verfahrens entzündet, in dem der einreichende Autor dem Urteil der – fast ausnahmslos anonym agierenden – Reviewer mehr oder weniger bedingungslos ausgeliefert ist.

Scirev.sc ist ein neuer Dienst, der es nun umgekehrt Wissenschaftlern ermöglicht, die im Rahmen der Artikeleinreichung erfahrene Qualität der Peer Review zu bewerten. Autoren können für ihre Einreichung die Dauer der ersten Review-Runde (an die sich ja gegebenenfalls iterative Verbesserungen anschließen), die Dauer des gesamten Begutachtungsprozesses, die Anzahl der Reviews und den Ausgang der Review (Annahme oder Ablehnung der Einreichung) ausweisen sowie die Qualität der Reviews und des gesamten Begutachtungsprozesses bewerten. Die Bewertung erfordert eine Anmeldung, ist aber selbst anonym möglich. Auf den ersten Blick entdeckte ich einige interessante Funde: So wurde teils nur eine einzige Review zu einer Einreichung verfasst, allerdings ist es prinzipiell auch möglich, dass dem Autor nur eine von mehreren Reviews zuging. Überraschenderweise wurden auch einige Reviews, die zur Ablehnung einer Einreichung führten, von den Autoren als positiv bewertet. Hingegen scheint eine lange Review-Dauer sehr oft zu negativen Bewertungen zu führen. SciRev fungiert naheliegener Weise auch als Auskunftsdienst: Wissenschaftler können Bewertungen und Auskünfte einzelner Zeitschriften oder der Zeitschriften eines Fachs recherchieren und diese Informationen in ihre Entscheidung, bei welchem Journal sie einen Artikel einreichen wollen, einfließen lassen.

Gelauncht und betrieben wird das Angebot von den niederländischen Wissenschaftlern Janine Huisman und Jeroen Smits

Weitere Informationen zu Peer Review und zur Alternative der Open Review:

Herb, U. (2012). Offenheit und wissenschaftliche Werke: Open Access, Open Review, Open Metrics, Open Science & Open Knowledge. In U. Herb (Hrsg.), Open Initiatives: Offenheit in der digitalen Welt und Wissenschaft (S. 11–44). Saarbrücken, Germany: universaar.Online http://eprints.rclis.org/17183/

Ware, M. (2008). Peer Review: benefits , perceptions and alternatives. London: Publishing Research Consortium. Online: http://www.publishingresearch.org.uk/documents/PRCsummary4Warefinal.pdf

Zu Unrecht in der Kritik? Qualitätssicherung bei Open-Access-Publikationen

John Bohannons Science-Artikel, der die Qualitätsicherung von Open Access Journals weithin in Frage stellt, wird zusehends differenziert betrachtet. Gestern gab ich dem Deutschlandfunk ein Interview zu diesem Thema. Im Rahmen der Sendung Forschung Aktuell wurde Ralf Krauters Interview mit mir ausgestrahlt, es trug den Titel Zu Unrecht in der Kritik? Qualitätssicherung bei Open-Access-Publikationen und kann hier abgerufen werden: http://www.dradio.de/dlf/sendungen/forschak/2288623/

Science Open Access Sting & die Qualitätsdebatte um Open Access Journale

John Bohannon publizerte letzte Woche einen journalistischen Artikel im Wissenschaftsmagazin Science, in dem er die Qualität von Open Access Journalen in Frage stellt. Dieser Artikel löste teils heftige Diskussionen aus und seine Schlussfolgerungen wurde von journalistischen Medien recht ungeprüft übernommen. Sowohl Heinz Pampel als auch ich hab nun Erwiderungen verfasst, die Bohannons Artikel kritisch beleuchten. Trotz aller Mängel des besagten Textes sollte er auch Anlass geben Mechanismen zu entwickeln, mittels derer seriöse und unseriöse (Open Access und Closed Access) Verlage leichter zu erkennen sind.

Heinz Pampel: Science-Artikel zu Peer Review und Open Access. ALBERTopen, Blog des Geoforschungszentrums Potsdam, 08.10.2013, http://albertopen.telegrafenberg.de/?p=840

Ulrich Herb: Unzutreffend, aber schmerzhaft: Der Open-Access-Sting der Zeitschrift Science. Telepolis, 09.10.2013, http://www.heise.de/tp/artikel/40/40056/1.html

 

Steigende Anzahl der Retractions

In ihrer PLoS ONE Publikation „Why Has the Number of Scientific Retractions Increased?“ belegen die Autoren Steen, Casadevall & Fang, dass die Zahl schon veröffentlichter, danach aber aufgrund wissenschaftlichen Fehlverhaltens (z.B. Plagiarismus, gefälschte oder produzierte Daten) oder wissenschaftlicher Fehler (z.B. fehlerhafte Auswertung oder Messung) zurückgezogener Artikel zugenommen hat. Dieser Nachweis gelingt den Autoren zumindest für in der Datenbank PubMed indizierte und als zurückgezogen markierte Publikationen (bis zum Stichtag 3. Mai 2012). Die wesentlichen Befunde der Untersuchung sind:

  • Die Zahl der Retractions stieg stärker als die Zahl der in PubMed indizierten Artikel.
  • Das Zurückziehen der Artikel geschieht zusehends schneller.
  • Die Gründe für das Zurückziehen von Artikeln wurden über die Zeit vielfältiger und z.B. um Mehrfachpublikation in unterschiedlichen Journals und Plagiarismus ergänzt. Der erste in PubMed nachgewiesene und wegen Plagiarismus zurückgezogene Artikel erschien im Jahr 1979.
  • Die Zeitspanne, innerhalb der Artikel zurückgezogen werden, dehnt sich in die Vergangenheit aus. Die Autoren machen darin eine Ursache für die Zunahme der Retractions aus.
  • Der Anteil von Autoren, bei denen nur ein Artikel zurückgezogen wird und nicht mehrere, nimmt zu.
  • Das Zurückziehen eines Artikels führt meist auch zur Überprüfung früherer Arbeiten des/der betroffenen Autoren.
  • Artikel aus Journals mit höherem Journal Impact Factor werden häufiger zurückgezogen als Artikel aus Journals mit niedrigerem Journal Impact Factor, allerdings ist die in dieser Studie nachgewiesene Korrelation nicht sehr stark. Die Autoren erklären diesen Umstand mit der höheren Aufmerksamkeit, die diese Journals erregen, und der vermutlich breiteren Rezeption der darin publizierten Artikel, die wiederum zu stärkerer Kontrolle der Inhalte durch Leser führe.

Auch wenn der Artikel sehr aufschlussreich ist, bleiben einige Dinge anzumerken:

  • Die Autoren beziehen sich in ihrer Auswertung auf die Anzahl der in PubMed indizierten Artikel, behaupten aber meist Retractions allgemein mit der Zahl der Publikationen schlechthin in Relation zu setzen – was einen falschen Eindruck von der genutzten Datenbasis vermittelt.
  • Der Zusammenhang zwischen hohem Journal Impact Factor und Anzahl der Retractions ist in zahlreichen Studien wesentlich ausgeprägter und wird üblicherweise anders erklärt (s. dazu im Überblick Brembs, Button & Munafò, 2013): Die Chance, in einem high Impact Journal zu publizieren, steigt mit dem spektakulären Charakter der Einreichung, dieser findet sich aber nicht immer ohne Weiteres in den erhobenen Daten und wird daher teils künstlich hergestellt oder plagiiert.
  • Der Titel des Artikel ist irreführend. Zwar enthält er Informationen zu quantitativen Entwicklungen der Retractions, allerdings erfährt man wenig über die Ursachen der Zunahme, etwa durch Konkurrenzdruck oder die Notwendigkeit, aufsehenerregende Ergebnisse zu publizieren, um Projekte oder Anstellungen zu sichern.

 

Literatur:

Brembs, B., Button, K., & Munafò, M. (2013). Deep impact: unintended consequences of journal rank. Frontiers in Human Neuroscience., 7 DOI: 10.3389/fnhum.2013.00291

Steen R. G.,, & Casadevall A., Fang F. C. (2013). Why Has the Number of Scientific Retractions Increased? PLoS ONE, 8 (7) DOI: 10.1371/journal.pone.0068397

Peer Review Showroom bei RePEc

RePEc, das Nachweisinstrument zu Publikationen und Preprints in den Wirtschaftswissenschaften, stellt seinen Nutzern einen neuen Service zur Diskussion: Ein Peer Review Showcase für herausragende Gutachten zu Artikeln aus den Wirtschaftswissenschaften. Der Ansatz des Vorhabens ist lobenswert und überfällig: Das Verfassen einer guten Review zu einem eingereichten Artikel ist aufwändig und verbessert diesen spürbar. Die Review kann leicht sogar besser als die Submission ausfallen. Zudem ist die  Reviewertätigkeit eine Last, auch weil in Zeiten steigenden Publikationsdrucks immer mehr Gutachten verfasst werden müssen. Zudem, das ist altbekannt, verzehren die schlechtesten Artikel, die fortwährend abgelehnt und bei anderen Journals neu eingereicht werden, in der Summe die meiste Zeit. Neben dem von RePEc zur Diskussion gestellten Showcase gibt es auch andere Ansätze, dem Gutachten respektive dem Reviewer Anerkennung zu verschaffen. In Atmospheric Chemistry and Physics wird die Review mit dem publizierten Artikel veröffentlicht und so Teil der Wissenschaftskommunikation; nebenbei dürfte die Gewissheit einer Veröffentlichung der Review deren Qualität erhöhen. Andere Überlegungen zielen drauf, die Mühen der Gutachter durch eine Art Reviewer Index zu entlohnen, der ihren Beitrag zur wissenschaftlichen Kommunikation ähnlich zu quantifizieren versucht, wie es der Hirsch-Index oder andere Kennziffern versuchen – aber eben nicht auf Basis der Zitationen eigener Artikel, sondern anhand der von Wissenschaftlern verfassten Gutachten.

Im RePEc Showroom reichen Editors als veröffentlichungswürdig erachtete Reviews ein, nachdem sie bei Autoren und Gutachtern die Erlaubnis dazu eingeholt haben. Die Gutachter können auf Wunsch bei Publikation ihrer Reviews anonym bleiben. Dies läuft zwar dem Gratifikationsmodell zuwider, schützt sie aber vor akademischer Rache in Fällen, in denen die Einreichung letztlich abgelehnt wurde. Aber selbst dann kann das Journal mit Publikation der Gutachten auf die Qualität der Begutachtung verweisen. Und ja: Auch ablehnende Reviews können im Showroom publiziert werden. Die Auswahl, welche Gutachten letztlich publiziert werden, obliegt dem RePEc-Stab. Veröffentlichte Reviews sollen, sofern möglich, mit dem begutachteten Artikel verlinkt werden.

Die Zukunft des Peer Review Showrooms ist offen, seine Einrichtung wurde gestern den Editors in der Community vorgeschlagen, die sich nun zur Umsetzung der Idee äußern können.

 

Literatur

Baveye, P. C., & Trevors, J. T. (2010). How Can We Encourage Peer-Reviewing? Water, Air, & Soil Pollution, 214(1-4), 1-3. doi:10.1007/s11270-010-0355-7. Online: http://www.springerlink.com/index/d7713174398576ml.pdf

Huggett, S. (2010). In recognition of peer reviewers. Research Trends, (18), 10-11. Online: http://info.scopus.com/researchtrends/pe_foc_18.html

Pöschl, U. (2006). Open Access & Collaborative Peer Review: Öffentliche Begutachtung und interaktive Diskussion zur Verbesserung von Kommunikation und Qualitätssicherung in Wissenschaft und Gesellschaft. In S. Hornbostel & D. Simon (Eds.), Wie viel (In-) Transparenz ist notwendig? : Peer Review revisited (iFQ Workin., pp. 43-46). Institut für Forschungsinformation und Qualitätssicherung. Online: http://www.forschungsinfo.de/publikationen/download/working_paper_1_2006.pdf