Welche wissenschaftlichen Ergebnisse halten einer Überprüfung stand und welche nicht? Diese grundlegende Frage stand im Mittelpunkt der 42. Böhm-Bawerk-Lecture, die am Mittwochabend in der SoWi-Aula stattfand. Die renommierte Wirtschaftswissenschaftlerin Anna Dreber, Johan-Björkman-Professorin an der Stockholm School of Economics und Gastprofessorin an der Fakultät für Volkswirtschaft und Statistik, referierte vor einem interessierten Fachpublikum über Replizierbarkeit und Generalisierbarkeit wissenschaftlicher Befunde.
Viele Ergebnisse lassen sich nicht reproduzieren
Im Zentrum des Vortrags standen groß angelegte Replikationsprojekte in der Psychologie und den Wirtschaftswissenschaften, die Anna Dreber gemeinsam mit internationalen Koautor:innen, viele davon von der Universität Innsbruck, durchgeführt hat. Dabei wurden Experimente aus renommierten Fachzeitschriften mit neuen und größeren Stichproben wiederholt, um zu testen, ob die ursprünglichen Befunde Bestand haben. Das Ergebnis ist ernüchternd: Ein erheblicher Anteil der getesteten Resultate ließ sich nicht replizieren.
Prognosemärkte als neuer Ansatz
Ein besonders innovativer Ansatz in Anna Drebers Forschung ist der Einsatz sogenannter Prognosemärkte (Prediction Markets), bei denen Forschende darauf wetten können, ob ein ausgewähltes Ergebnis bei der Replikation standhält. Als Erfolgskriterium gilt dabei ein statistisch signifikanter Effekt in der gleichen Richtung wie in der Originalstudie. Die Ergebnisse zeigen: Die Replizierbarkeit eines Befundes ist in gewissem Maß vorhersagbar. Darüber hinaus stellte die Referentin das Konzept der Entscheidungsmärkte (Decision Markets) vor, bei dem Marktpreise genutzt werden, um auszuwählen, welche Studien überhaupt repliziert werden sollen. Dies kann als vielversprechender Ansatz zur Allokation von Ressourcen in der Replikationsforschung dienen.
Heterogenität als Herausforderung
Anna Dreber präsentierte außerdem Projekte zur analytischen und zur Design-Heterogenität: In einem Fall wurden verschiedene Forschungsteams gebeten, dieselben Hypothesen auf denselben Datensätzen zu testen; in einem anderen, unabhängig voneinander Experimente zur Prüfung derselben Fragestellung zu entwickeln. In beiden Fällen zeigte sich eine erhebliche Bandbreite an Ergebnissen – ein Befund, der die Generalisierbarkeit einzelner wissenschaftlicher Resultate grundsätzlich in Frage stellt. Abschließend diskutierte die Vortragende mögliche Konsequenzen für die Wissenschaft und skizzierte Ansätze, wie zukünftige Hypothesentests robuster und transparenter gestaltet werden können.
Traditionsreiche Vortragsreihe
Die Böhm-Bawerk-Lecture ist eine traditionsreiche Vortragsreihe der sozial- und wirtschaftswissenschaftlichen Fakultäten der Universität Innsbruck, die in Kooperation mit dem Forschungsschwerpunkt EPoS veranstaltet wird. Sie trägt den Namen des bedeutenden österreichischen Ökonomen Eugen von Böhm-Bawerk und bringt regelmäßig international führende Wirtschaftswissenschaftler:innen nach Innsbruck.