Was Metascience ist, zeigen beispielhaft ein abgeschlossenes, ein laufendes und ein geplantes Forschungsprojekt. Michael Kirchler ist einer von mehreren Forscher*innen, die sich an der Universität Innsbruck intensiv mit dem Thema Metascience auseinandersetzen. Gemeinsam mit Jürgen Huber, Felix Holzmeister von der Uni Innsbruck und, wie für Metascience üblich, zahlreichen weiteren Autor*innen, hat er vergangenes Jahr die Ergebnisse einer sogenannten „crowd science“ Analyse in der Fachzeitschrift Nature publiziert: Gemeinsam mit Kolleg*innen aus Stanford, Tel Aviv und Stockholm führten die Innsbrucker Forscher ökonomische Experimente in einem MRT-Scanner durch. Die Daten werteten sie allerdings nicht aus, sondern übergaben diese an 70 Forschungsteams, die unabhängig voneinander die Auswertung derselben Daten durchführten. Fazit: Die wissenschaftliche Analyse von komplexen Forschungsdaten kann zu sehr unterschiedlichen Ergebnissen und Schlussfolgerungen führen.
Doch welche Schlüsse leiten sich daraus für die Wissenschaft ab? „Zunächst einmal müssen wir uns als Forscher*innen bewusst sein, dass es unterschiedliche Herangehensweisen an komplexe Fragestellungen gibt. Umso wichtiger ist es deshalb, dass wir unsere Methoden und Analyseverfahren offen darlegen und uns näher damit beschäftigen, warum wir bestimmte Herangehensweisen wählen. Letztendlich geht es darum, wie wir unser Wissen generieren“, sagt Kirchler. Im Rahmen der Metascience wird genau das untersucht. Zugleich dient sie als Qualitätssicherung für die Wissenschaft. Kirchler und seine Kollegen von der Fakultät für Betriebswirtschaft und der Fakultät für Volkswirtschaft untersuchen in ihren Metascience-Studien vor allem die Wirtschaftswissenschaften und auch die Psychologie. „Um die Qualität von Studien in diesen Wissenschaftsdisziplinen zu erhöhen, müssen Stichprobengrößen von Studien erhöht und der gesamte Forschungsprozess transparenter gestaltet werden“, fordert Michael Kirchler.
Transparenz und Offenheit
Ein Weg zu mehr Transparenz und Offenheit sind sogenannte „Pre-Analysis-Plans“, die seit einigen Jahren immer häufiger zum Einsatz kommen. Dabei müssen Forscher*innen ihr Forschungsdesign und die Methoden zur Datenauswahl und -analyse bereits vor Beginn einer Studie festlegen. Das soll verhindern, dass ein Studiendesign – basierend auf bereits erhobenen Daten – kurzfristig geändert wird, sollte auf dem geplanten Weg nicht das gewünschte Ergebnis erreicht werden. Auf unterschiedlichen Plattformen wie beispielsweise Open Science Framework (OSF) werden die Pre-Analysis-Plans vor der Datenerhebung hochgeladen. „In der Medizin oder in der Chemie gibt es diesen Prozess zur Qualitätssicherung schon länger. Aber auch in anderen Wissenschaftsdisziplinen kommen Pre-Analysis-Plans immer häufiger zum Einsatz. Einige Journals bestehen mittlerweile sogar darauf“, sagt Michael Kirchler.
Für den Professor für Finanzwirtschaft ist das aber nicht der einzige Schritt zu mehr Transparenz. Er spricht sich auch für einen offeneren Umgang mit sogenannten Nullergebnissen aus. „Wenn das Ergebnis unserer Forschung ist, dass es keine der erwarteten Zusammenhänge in den Daten gibt, dann habe ich auch sehr viel gelernt. Diese Nullergebnisse müssen im Sinne der Transparenz veröffentlicht werden. Das ist v.a. auch für andere Forscher*innen, die sich derselben oder einer ähnlichen Forschungsfrage annehmen, höchst relevant, da diese anderenfalls einem verzerrten Bild der Ergebnisse bisheriger Studien gegenüberstehen. In der Vergangenheit sind diese Erkenntnisse jedoch kaum kommuniziert worden“, sagt Kirchler.
Laufende Forschungsprojekte
Aktuell arbeiten Kirchler und seine Kolleg*innen an mehreren Metascience-Projekten parallel. In der Studie „Finance Crowd Analysis Project“ (#fincap) untersuchen mehr als 100 Forschungsteams weltweit unabhängig voneinander den gleichen Satz an Hypothesen zu den gleichen Daten – 720 Millionen Einzeltransaktionen im EuroStoxx 50 Future. Im Anschluss erstellen alle Teams kurze wissenschaftliche Arbeiten, die von renommierten Wissenschaftler*innen bewertet werden. Die Projektkoordinatoren, zu denen auch Michael Kirchler, Felix Holzmeister, Jürgen Huber und Michael Razen von der Universität Innsbruck zählen, sehen sich schließlich die einzelnen Ergebnisse an, um so neue Erkenntnisse über die Heterogenität der Ergebnisse und v.a. den Prozess der Wissensgenerierung zu erhalten. „Anfang Januar haben alle Teams die Hypothesen und die Daten zur Analyse erhalten. Noch bis Ende März ist nun Zeit für die Datenanalyse. Erste Ergebnisse zur Metastudie wollen wir im Herbst 2021 veröffentlichen“, sagt Kirchler.
Während bei #fincap also die Datenanalyse im Fokus steht, soll in einer weiteren Studie der Entstehungsprozess des gesamten Forschungsdesigns untersucht werden. „Wir planen gerade ein weiteres Projekt, bei dem Dutzende internationale Forschungsteams lediglich die Forschungsfrage zum experimentellen Untersuchungsdesign erhalten. Es handelt sich dabei um eine ökonomische und moralische Fragestellung, die Gesellschaften schon seit vielen Jahrhunderten beschäftigt. Ich bin schon sehr gespannt, welche Designs und Ergebnisse wir bei dieser offenen und wichtigen Fragestellung erhalten. Mehr kann ich leider noch nicht verraten“, so Kirchler.