Tagungshinweis. Perspektiven der Wissenschaftsforschung: Reflexion – Praxis – Kontext

Research photo
Photo by Fiorenza Thompson

Am 16. und 17. Oktober 2017 veranstaltet das Leopoldina-Studienzentrums in Halle (Saale) die Tagung „Perspektiven der Wissenschaftsforschung: Reflexion – Praxis – Kontext“. Hier ein Auszug aus dem Programm: „Von den Leistungen des Vorsorgestaates über Umweltfragen bis hin zur Innovationspolitik sind moderne Gesellschaften auf die Wissenschaften angewiesen. Wissenschaft ist Basis staatlicher Regulierung und wird deswegen auch zum Ziel politischen Handelns.

Die Reflexion über diese doppelte Rolle der Wissenschaften in den Kontexten sozialen, politischen und ökonomischen Handelns steht im Zentrum der Wissenschaftsforschung. Die Beiträge der Tagung stellen programmatische Ansätze vor, deren Spektrum von der Wissenschaftsphilosophie über die Wissenschaftssoziologie, -ökonomie, -politikforschung und -kommunikation bis zur Wissenschaftsgeschichte reicht.

Ziel ist es, verschiedene disziplinäre Ansätze aus der Perspektive einer integrierten Wissenschaftsforschung zu betrachten. Insbesondere dem Themenfeld der wissenschaftlichen Politikberatung – in ihren strukturellen, medialen und ökonomischen Zusammenhängen – kommt dabei eine besondere Bedeutung zu. Was bedeutet dies für die Praxis der Wissenschaftsforschung, ihre organisatorische Anbindung und ihre epistemischen Ziele?“

Weitere Informationen finden sich auf der Website der Tagung sowie im Programm.

 

Big Data und die Perspektiven kritischer Sozial- und Kultur­wissenschaften – Symposium an der Universität Linz

Big Data is watching you
Urheber: Jeremy Keith, online unter https://www.flickr.com/photos/adactio/9276962702/
Verfügbar unter Creative Commons Lizenz: CC BY Generic 2.0, https://creativecommons.org/licenses/by/2.0/

Am 27. und 28. 4. 2017 findet an der Johannes Kepler Universität in Linz (Österreich) ein Symposium zum Thema Big Data:  Perspektiven kritischer Sozial- und Kultur­wissenschaften statt. Die wissenschaftliche Leitung der für Besucher kostenfreien Veranstlatung hat Prof. Gerhard Fröhlich inne. Hier Einladungstext und Terminplan zur Veranstaltung, beides der Website zur Veranstaltung entnommen:

Johannes Kepler Universität (JKU) LINZ, Uni–Center (=Mensagebäude, neben Schloss),
Altenberger Str. 69, 4040 Linz, 2. Stock (Außenstiege / Außenlift)

„BIG DATA ist in aller Munde. Eine glorreiche Zukunft in der „Datengesellschaft“ wird uns prophezeit. BIG DATA  war ursprünglich ein technischer Begriff für Datenmengen, die bei der Analyse (v.a. in sog. „Echtzeit“) die konventionellen Computerkapazitäten überforderten (z.B. in der Klimaforschung). Heute wird BIG DATA äußerst vage und vieldeutig verwendet, um unterschiedlichste direkt oder indirekt kommerzielle Ziele zu verfolgen, z.B. Siege in Formel 1-Rennen, Prognosen von Aktienkursen und Seuchen, invasives Marketing. Es geht um Kontrolle, gerade auch um die Kontrolle der Zukunft. Goldgräberstimmung macht sich breit…

Wir möchten in dieser Veranstaltung versuchen, die Methoden der BIG DATA-Analytik verstehen und kritisieren zu lernen und ihre möglichen Auswirkungen auf das menschliche Zusammenleben abzuschätzen. Ethische Überlegungen sind dabei unverzichtbar. Beschert uns BIG DATA tatsächlich das gelobte digitale Land? Oder geraten wir in Endlosschleifen? Denn die BIG DATA-„Prognosen“ betreiben die Fortschreibung des Bisherigen und dessen Verstärkung. Wo bleibt da noch Platz für NEUES? Das „Ende der Theorie“, das Ende wissenschaftlicher Modelle, das Ende wissenschaftlicher Methoden wird proklamiert. Die Perspektiven kritischer Sozial- und Kulturwissenschaften, von Wissenschafts- und Kulturtheorie, Wissenschafts- und Informationsethik stehen daher im Vordergrund der Vorträge, Diskussionen, Demonstrationen, Präsentationen, Science-Datings.“

PLENARTERMINE: Do., 27.4.2017, ab 15.30 Uhr, Fr., 28.4.2017, ab 13 Uhr s.t. und 16 Uhr s.t.

SCIENCE DATING (=wissenschaftliche Sprechstunde, 20 Minuten alleine mit eineR Referentin):
Fr., 28.4.2017, ab 10 Uhr (individuelle Terminvereinbarungen)

Programm:

Do., 27.4.2017, ab 15 Uhr: Kennenlernen, Kaffee & Kekse

Do., 27.4.2017, 15.30 Uhr, WORKSHOP 1: GLÄSERNE MENSCHEN?

Gerhard Fröhlich, Linz: Big Data: Die Verheissungen
Silja Kempinger, Linz: „Wir kennen jeden Menschen besser als diese sich selbst“
Andrea Ghoneim, Krems: David gegen Goliath – oder welche Datenbasis bringt welche Erkenntnisse

Fr., 28.4. 2017, 13 Uhr s.t., WORKSHOP 2: „ROHES“ & „GEKOCHTES“

Gerhard Fröhlich, Linz: „Rohes“ & „Gekochtes“, informationswissenschaftlich
Herbert Hrachovec, Wien: Rohdaten oder Der Mythos des Vorgegebenen
Ulrich Herb, Saarbrücken: Metriken, Kennziffern, Event Logging – Informationswissenschaft pro oder Contra Wissenschaftssteuerung?

15.30 Uhr Pause

Fr., 28.4. 2017, 16 Uhr s.t., WORKSHOP 3: „ZWISCHEN HIMMEL & ERDE“

Dirk Solte, Karlsruhe: Big Data-Analytik – Auswirkungen auf Beschäftigung und Teilhabefairness
Andreas Vogl, Wels: Datenbilder und der Kampf um Aufmerksamkeit

Abschlussdiskussion

SCIENCE DATINGs (20 Minuten wissenschaftliche Sprechstunde, alleine mit eineR ReferentIn) nach Vereinbarung. v.a. Fr., 28.4. 2017, 10-12 Uhr oder Do., 27.4., 13-15 Uhr

 

 

Impact messen in den Sozialwissenschaften und der Soziologie – mit Web of Science, Scopus, Google Scholar oder Altmetrics?

Am 23.09.2016 hielt ich im Rahmen der Tagung Forschungsmetriken als Dienstleistung: Herausforderungen und institutionelle Wirkungen am Wissenschaftszentrum Berlin für Sozialforschung WZB einen Vortrag mit dem Titel Forschungsmetriken und Impact in den Sozialwissenschaften. Im Mittelpunkt stand die Frage, ob Altmetrics besser als Zitationsdaten geeignet sind, den Impact (was immer man darunter verstehen mag)  sozialwissenschaftlicher Literatur zu erfassen. Meine Bilanz ist ernüchternd:  Zwar sind Altmetrics prinzipiell den Zitationsdatenbanken Web of Science oder Scopus insofern überlegen als sie auch nicht in Journalen erschienene Werke erfassen. Allerdings dominieren in den Altmetrics-Datenquellen, genau wie im Web of Science oder Scopus, englischsprachige Journalartikel. Folglich findet sich das Problem der fragmentarischen Impact-Erfassung speziell deutschsprachiger sozialwissenschaftlicher Literatur auch bei Altmetrics. Es wird verstärkt durch die seltene Verwendung der DOI in deutschsprachiger sozialwissenschaftler Literatur, denn die Altmetrics-Werte werden zumeist mittels DOI-Parsing ermittelt. Eher als Altmetrics scheint hingegen Google Scholar geeignet, den Impact sozialwissenschaftlicher Literatur zu beschreiben – zu diesem Schluss kam ich auch in meiner Dissertation.

Der besagte Vortrag findet sich in Slideshare unter http://www.slideshare.net/uherb/forschungsmetriken-und-impact-in-den-sozialwissenschaften

 

Impactmessung, Transparenz & Open Science: Open Metrics

An sich plante ich, wie es üblich ist, meine voluminöse Dissertation zu filetieren und häppchenweise in Journalen zu publizieren, gelungen ist mir dies mangels Zeit bislang noch nicht so recht. Aber ein Anfang ist gemacht: In Young Information Scientist (YIS) erschien nun mein Beitrag Impactmessung, Transparenz & Open Science, der auf Befunden meiner Dissertation beruht und sich mit Open Metrics befasst. Darin gehe ich der Frage noch, ob Altmetrics nun wirklich offener, transparenter und fairer sind als die heftig kritisierten Zitationsmaße. Zudem versuche ich einen Kriterienaktalog für offene Metriken, sprich solche, die den Ansprüchen offener Wissenschaft genügen können, zu entwickeln.

Hier die bibliographischen Daten zum Artikel, gefolgt vom Abstract und Schlagworten:

Ulrich Herb (2016). Impactmessung, Transparenz & Open Science. In: Young Information Scientist, Vol. 1 (2016), S. 59–72. Online: https://yis.univie.ac.at/index.php/yis/article/view/1420 oder via Zenodo, http://doi.org/10.5281/zenodo.153831, DOI:10.5281/zenodo.153831

Herb, Ulrich: Impactmessung, Transparenz & Open Science

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen.
Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens.
Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken.
Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Schlagwörter — Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie

Herb, Ulrich: Impact Metrics, Transparency & Open Science

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles.
Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge.
Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability.
Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

Keywords — impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics

 

Citizen Science und die Demokratisierung der Wissenschaft

Dass Citizen Science einen Beitrag zur Demokratisierung der Wissenschaft leistet, wird nahezu gebetsmühlenartig betont. In einem Interview mit dem schwedischen Forscher Dick Kasperowski konnte ich nun diskutieren, inwiefern diese Annahme wirklich stimmt. Kasperowski informiert den Leser auch über unterschiedliche Arten der Citizen Science im Beitrag „Citizen Science als Demokratisierung der Wissenschaft?“

 

Wieviel Schwindel verträgt die Wissenschaft?

Wissenschaftliche Journale und Konferenzen, Begutachtung durch Peer Review und die Kriterien der wissenschafltichen Datenbanken galten bislang als Qualitätsgaranten wissenschaftlicher Information und Kommunikation. Ihre Glaubwürdigkeit wird jedoch durch die Angebote der Fake Science zusehends unterminiert. In Telepolis versuche ich mich an einer Bestandsaufnahme zu einigen Manifestationen der Fake Science: Hijacked Journals, Fake Journals, Predatory Publishing, Fake Conferences, Fake Peer Review, Fake Articles, Fake Citations.

Journal of Serendipitous and Unexpected Results: Wissenschaft vom Unerwarteten

Gaston Bachelard formulierte treffend: „Wissenschaft gibt es nur vom Verborgenen“. In einer Zeit, in der zwischen 80% bis 90% aller Wissenschaftler, die jemals gelebt haben, leben (so 2003 Peter Weingarts Einschätzung aus seinem Werk Wissenschaftssoziologie) sollte aber immer weniger verborgen sein. Nicht umsonst stellen viele Wissenschaftler die Frage, ob sich die Zeit der Big Science und der großen wissenschaftlichen Durchbrüche dem Ende entgegen neigt und Erkenntnisgewinne zukünftig eher auf Ebene der Subdisziplinen und mit kleiner theoretischer Reichweite zu erwarten sind.

Die Herausgeber des Journal of Serendipitous and Unexpected Results (JSUR) haben offensichtlich ein Faible für Verborgenes. Weniger für das verborgene Unbekannte, sondern mehr für das Verborgene im Bekannten: den Widerspruch. JSUR, peer reviewed und Open Access, ermuntert Autoren zu Einreichungen, die (ich übersetze aus der Journal-Homepage) „verbreitete Annahmen in Frage stellen oder überraschende Phänomene aufdecken“ sowie bestehenden und etablierten Hypothesen widersprechen. Widerspruch und Kritik sind zumindest normativ (etwa bei Karl Popper nachzulesen) konstituierende Elemente der Wissenschaftskommunikation. Faktisch werden in wissenschaftlichen Journalen Einreichungen eher positiv bewertet und publiziert, wenn sie verfestigte Theorien und Erklärungen nicht in Frage stellen. Widersprechen Studien etablierten Erklärungsmustern und den Resultaten der Studien, die diese Muster stützen oder sogar auf weitere Gegenstandsbereiche ausdehnen, wird es äußerst schwierig, die abweichenden Ergebnisse einem (Fach-)Publikum zugänglich zu machen. Das Verdienst des JSUR könnte es werden, eine überfachliche Publikationsoption für diese Befunde anzubieten: Unvoreingenommen und ohne Rücksicht auf Theorien, die in den Journals der einzelnen Fächer unantastbar scheinen. Obwohl JSUR sich vorrangig den Lebenswissenschaften widmet, dürfte es auch in den Sozialwissenschaften Bedarf an einem solchen Journal geben: Vermutlich könnten nicht wenige Ergebnisse aus immer wieder zitierten und unangefochtenen Untersuchungen in Replikationsstudien nicht verifiziert werden, z.B da bei der Analyse von Ursachen und Wirkungen Kontextvariablen wirken, die nie überprüft werden – weil die Ergebnisse mit gängigen Theorien und Erklärungen übereinstimmen. JSUR hat bislang zwar erst einen Artikel publiziert, aber dieser kombiniert vorzüglich Schalk mit Feyerabends Prinzip „anything goes“: In „Neural Correlates of Interspecies Perspective Taking in the Post-Mortem Atlantic Salmon: An Argument For Proper Multiple Comparisons Correction“ stellen die Autoren Bennett et al. die Aussagekraft der Ergebnisse von Studien unter Verwendung der funktionellen Kernspintomografie in Frage. Diese wird (oder – dank JSUR – wurde) von Neurowissenschaftlern als die Methode schlechthin betrachtet, um aus neurologischen Aktivitätsmustern das Zustandekommen emotionaler Zustände oder kognitiver Prozesse zu erklären. Beliebte Anwendungsfelder waren unter vielen anderen die Erforschung von Psychopharmaka, der Wahrnehmung, der Informationsverarbeitung und selbstredend allem was mit Trieb und Emotion zu tun hat. Bennett und Kollegen untersuchten in der in JSUR publizierten Studie mittels funktioneller Kernspintomografie einen toten Lachs und siehe da: Das Gehirn des Fisches reagierte auf Bilder von Menschen in unterschiedlichen emotionalen Zuständen. Nach Ansicht der Autoren entsteht dieses Ergebnis, wenn keine Korrekturrechnung zu Eliminierung statistischer Verzerrungen vorgenommen werden – was halb so schlimm wäre, würden nicht 25 bis 40 Prozent der Analysen diese Korrekturrechnungen unterlassen (s. Bennett 2010).

Wissenschaftsranking: Hochschulen, Fächer, Wissenschaftler – One size fits all?

Auf der Suche nach Informationen zur Hochschulevaluierung in der Schweiz stieß ich auf zwei Ergebnisse:

  1. In der Schweiz wird im Wesentlichen der gleiche, kritisierbare „one size fits all“-Ansatz verfolgt wie in Deutschland.
  2. Eine Website, die in ihrem Methodenabschnitt sehr verständlich verallgemeinerbare Mängel der Rankings darstellt.

Als da (meiner auszugsweisen Meinung nach) wären

  • willkürliche Auswahl und Gewichtung von Dimensionen (Reputation, Forschungsqualität, Lehrqualität, …) als
  • Kriterien eines nicht definierten, abstrakten und willkürlichen Qualitätskonstrukts.
  • Quantifizierung der Eigenschaftsausprägungen der (nicht vergleichbaren) Messobjekte (Forschungsinstitute, die Forschung zum Auftrag haben, und Fachhochschulen, die Lehre zum Auftrag haben) auf diesen Dimensionen durch völlig beliebige Kriterien (Drittmitteleinwerbung, Publikationszahlen, Anzahl englischsprachiger Artikel, Zitationmuster, internationale Kooperation, Auszeichnungen, …)
  • und Messung der Ausprägungen dieser Eigenschaften in niemals auf Validität oder Reliabiltät geprüften Verfahren.

Man könnte die Liste länglich weiter fortführen; wer mehr, verständlich formuliert, über Rankings und Indexbildung lesen mag, ohne sich mit sozialwissenschaftlichen Methoden befassen zu wollen, dem sei auf die Schnelle dieses Paper empfohlen:

Michalke, M., Naß, O., & Nitsche, A. (2007). Mehr Humor und keine Katze – Rankingprodukte Marke Bertelsmann. In J. Wernicke & T. Bultmann (Eds.), Netzwerk der Macht – Bertelsmann (2nd ed., p. 111–139). BdWi Verlag. Online: http://www.reaktanz.de/blog/?e=112.

Und wie gesagt auch der bereits oben erwähnte Abschnitt der Seite http://www.universityrankings.ch, die tatsächlich gut informiert – mit der ich aber bei der Ratings-/Rankingsdiskussion in einem Punkt nicht d’accord bin: Sicher sind qualitative Erhebungen wie die Research Assessment Exercise in UK oder das Rating des Wissenschaftsrats für die Soziologie auch (und besonders) durch den qualitativen Erhebungsteil Verzerrungen unterworfen, die es zu kontrollieren gilt – aber ich tendiere zumindest dazu anzunehmen, dass Qualität, wie Schönheit, im Auge des Betrachters entsteht und nicht in aufaddierten Fördersummen, Promovendenzahlen oder obskuren, oft unüberprüften Publikationslisten.