Wie objektiv ist der Peer-Review Prozess wissenschaftlicher Journale?

Diese Frage adressiert eine soeben in der renommierten Fachzeitschrift PNAS – Proceedings of the National Academy of Science erschienene Studie.
Peer Review Prozess

Foto © iStock.com/DrAfter123

Zur Beantwortung dieser Frage führte ein sechsköpfiges Forschungsteam der Universitäten Innsbruck (Jürgen Huber, Rudolf Kerschbamer und Christian König-Kersting) und Graz (Stefan Palan) sowie der Chapman University (Sabiou Inoua und Vernon Smith) ein einfaches Experiment durch:

Vernon Smith, Wirtschaftsnobelpreisträger des Jahres 2002 und Professor an der Chapman University, verfasste gemeinsam mit Sabiou Inoua, Nachwuchswissenschaftler an der Chapman University, einen wissenschaftlichen Artikel im Bereich Finance. Diesen reichten die beiden Autoren beim Fachjournal „Journal of Behavioral and Experimental Finance“ zur Veröffentlichung ein. Normalerweise würde so ein Artikel an zwei oder drei „Peers“ (andere Wissenschaftler, die an ähnlichen Forschungsthemen arbeiten) zur Begutachtung ausgeschickt. Doch Stefan Palan, Assoziierter Professor an der Universität Graz, Herausgeber der Fachzeitschrift und Mitglied des Forschungsteams, verschickte den Artikel an insgesamt mehr als 3300 Fachgutachter*innen.

Während alle Gutachter*innen genau denselben Artikel zur Begutachtung erhielten, bekamen sie unterschiedliche Informationen über die Autor*innen des Artikels. Ein Teil der Gutachter*innen bekam keine Informationen über die Autor*innen, anderen wurde mitgeteilt, dass eine*r der Autor*innen (der ihnen fast sicher unbekannte) Nachwuchswissenschaftler war, wiederum anderen wurde mitgeteilt, dass eine*r der Autor*innen der Nobelpreisträger war.

Die Ergebnisse der Studie zeigen ein deutliches Muster: Von den Fachgutachter*innen, die keine Informationen über die Autor*innen hatten, empfahlen knapp 25% eine kleine Revision oder die unmittelbare Annahme des Artikels zur Veröffentlichung; bei jenen Fachgutachter*innen, die darüber informiert waren, dass einer der  Autor*innen der Nachwuchswissenschaftler war, fiel dieser Anteil auf unter 10%; bei jenen Gutachter*innen, denen mitgeteilt wurde, dass einer der  Autor*innen der Nobelpreisträger war, stieg er auf beinahe 60%. Am negativen Ende der Empfehlungsskala zeigt sich ein ähnliches Bild: Von jenen Fachgutachter*innen, die keine Informationen über den Autor hatten, empfahlen knapp 50%, den Artikel nicht zu veröffentlichen. Bei jenen Fachgutachter*innen, die darüber informiert wurden, dass einer der Autor*innen des Artikels der Nachwuchswissenschaftler war, stieg dieser Anteil sogar auf über 65%. Von den Gutachter*innen, die darüber informiert wurden, dass einer der Autor*innen der Nobelpreisträger war, empfahlen hingegen nur knapp 23%, den Artikel abzulehnen.

„Unsere Ergebnisse zeigen deutlich, dass die unterschiedlichen Informationen über den Verfasser die Bewertung der Qualität des Forschungsartikels stark beeinflussen“, sagt Jürgen Huber, Professor am Institut für Banken und Finanzen an der Universität Innsbruck und Mitautor der Studie. Rudolf Kerschbamer, Professor am Institut für Wirtschaftstheorie der Universität Innsbruck und ebenfalls Mitautor der Studie, führt dieses Ergebnis u.a. auf den sogenannten „Heiligenschein-Effekt“ oder „Halo-Effekt“ zurück: „Der Halo-Effekt ist eine aus der Sozialpsychologie bekannte Verzerrung, die dazu führt, dass Handlungen und Werke von Personen, von denen man einen positiven Eindruck hat, grundsätzlich positiver wahrgenommen werden als jene von unbekannten Personen oder von Personen, denen man nicht so viel zutraut.“ Auch die Tatsache, dass der Nobelpreisträger einen „westlich klingenden“ Namen hat, der Nachwuchsforscher aber einen „fremdländisch klingenden“ könnte bei einigen Gutachter*innen eine Rolle gespielt haben.

Das Forscherteam sieht die Ergebnisse als wichtigen Anstoß dafür, das Peer-Review Verfahren zu überdenken. „Als Wissenschaftler*innen arbeiten wir ständig daran, unsere Methoden und Prozesse zu verbessern. Gerade in der akademischen Welt sind die Ergebnisse unserer aktuellen Studie deshalb auf großes Interesse gestoßen.“ betont Christian König-Kersting, wissenschaftlicher Mitarbeiter am Institut für Banken und Finanzen der Universität Innsbruck. In der wichtigen Frage, ob der Peer-Review-Prozess anonymisiert sein soll oder ob die Autor*innennamen den Gutachter*innen bekanntgegeben werden sollten, sprechen diese Ergebnisse eindeutig für einen anonymisierten Prozess.

 

Studie in PNAS:

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4190976


Bericht in Nature:

https://www.nature.com/articles/d41586-022-03256-9

 
Bericht in Science:

https://doi.org/10.1126/science.ade8721

 
Bericht in The Economist:

https://www.economist.com/science-and-technology/2022/09/14/an-influential-academic-safeguard-is-distorted-by-status-bias

 
Bericht in Le Monde:

https://www.lemonde.fr/sciences/article/2022/09/22/la-notoriete-des-scientifiques-facilite-la-publication-de-leurs-travaux_6142706_1650684.html

 
Bericht in Sina.cn:

https://163.com/dy/article/HHFM0PTC0511DSSR.html

 
Bericht in ORF:

https://science.orf.at/stories/3215484/


Bericht in Der Standard:

https://www.derstandard.de/story/2000139835213/artikel-renommierter-forscher-werden-systematisch-besser-bewertet

 

Bericht in Die Presse:

https://www.diepresse.com/6202904/promi-forscher-werden-eher-publiziert 


Bericht in Kurier:

https://kurier.at/wissen/wissenschaft/nobel-sticht-novize-bekannte-forscher-werden-eher-publiziert/402176241

 
Tweet auf Twitter:


Nach oben scrollen