/Science

Error! Wie die Wissenschaft mit ihren Fehler umgeht

Anna Schughart 09.09.2016

Eine wissenschaftliche Studie hat gezeigt, dass... Das ist oft ein Totschlagargument. Denn wer widerspricht schon einer wissenschaftlichen Studie? Doch Publikationen sind nicht grundsätzlich perfekt. WIRED erzählt vom Kampf der Wissenschaft gegen Fehler, von Studien, die nur einmal gelingen, und von einer Kultur, die lieber Neues findet, als Altes zu bestätigen.

Chris Hartgerink wird das Problem nicht lösen. Doch immerhin macht er einen ersten Schritt. Hartgerink arbeitet an der Universität Tilburg und hat 50.000 wissenschaftliche Studien mithilfe einer Software auf statistische Fehler überprüft. Seine Frage: Wurden die Ergebnisse richtig gerundet? Die Antwort ist noch nicht ganz klar, aber es ist unwahrscheinlich, dass sie für alle untersuchten Paper „Ja“ lauten wird.

Auch wenn es manchmal den Anschein hat, als sei eine Prozentzahl – gedruckt auf ein Blatt Papier in einer angesehenen Zeitschrift – der Weisheit letzter Schluss, ist die Realität eine andere: Wissenschaftler machen Fehler, wissenschaftliche Studien enthalten sie. Doch wie gehen Forscher mit ihnen um? Wie minimiert man Fehler? Und: Macht sich überhaupt jemand die Mühe, sie zu finden?

Gerade letztere Frage treibt die Wissenschaft seit einiger Zeit um. So sehr, dass es sogar einen Namen für das Problem gibt: Reproduzierbarkeitskrise. Reproduzierbarkeit ist ein wissenschaftliches Grundprinzip, das besagt, dass man ein Experiment wiederholen und dabei zum gleichen Ergebnis kommen können muss. Doch Replikationsstudien sind nicht sexy, sie werden viel zu selten durchgeführt. Und wenn – und da liegt das Problem –, dann ist das Ergebnis oft alles andere als zufriedenstellend. Im Zuge der Reproduzierbarkeitskrise musste die Wissenschaft feststellen, dass eine Vielzahl ihrer Studien schlicht nicht reproduzierbar ist.

In einer Umfrage der Zeitschrift Nature vom Mai gaben mehr als 70 Prozent der 1576 befragten WissenschaftlerInnen zu, dass es ihnen schon einmal nicht gelungen ist, die Studie eines Kollegen oder einer Kollegin zu reproduzieren. Mehr als die Hälfte scheiterten sogar an eigenen Experimenten.

Manche tun alles, um den Fehler bei der Person zu finden, die sie auf ihn aufmerksam gemacht hat

Ivan Oransky, Gründer des Blogs Retraction Watch

Doch zu behaupten, alle nicht reproduzierbaren Studien seien schlicht falsch, sei die falsche Schlussforderung, sagt Brian Nosek, Psychologe an der University of Virginia und Direktor des Center for Open Science. „Das ist nur eine von drei Möglichkeiten. Eine zweite ist, dass die Replikation aufgrund eines Fehlers oder bloß einer falschen Negativen nicht gelang.“ Die dritte Möglichkeit sei, dass sowohl die Studie als auch ihre Replikation „richtig“ seien, sich aber in einem wichtigen Punkt unterschieden, der beeinflusse, ob man das Ergebnis erhalte. „All das ist eine Herausforderung für die Reproduzierbarkeit und eine Möglichkeit, wissenschaftliche Methoden zu verbessern“, sagt Nosek.

Wie Chris Hartgerink einen Algorithmus die Daten von 50.000 Studien überprüfen zu lassen, ersetzt dabei aber keine komplette Replikationsstudie. Doch man kann so Fehler finden und seine Kollegen darauf aufmerksam machen – auch wenn das nicht allen gefällt.

„Wissenschaftler gehen mit Fehlern genauso um, wie wir alle. Niemand erfährt gerne, dass er einen Fehler gemacht hat. Es gibt Wissenschaftler, die alles tun, um ihn zu korrigieren. Und es gibt Wissenschaftler, die alles tun, um den Fehler bei der Person zu finden, die sie auf ihn aufmerksam gemacht hat“, sagt Ivan Oransky. Der Journalist kennt sich mit Fehlern – und noch schlimmer - Betrug in der Wissenschaft aus. 2010 gründete er zusammen mit einem Kollegen das Blog Retraction Watch, das zurückgezogene wissenschaftliche Studien verfolgt.

+++ Mehr von WIRED regelmäßig ins Postfach? Hier für den Newsletter anmelden +++

Doch das Problem liegt nicht nur bei Wissenschaftlern, die ihre Fehler (oder Täuschungsversuche) nicht eingestehen wollen. Auch wissenschaftlichen Zeitschriften, die ihre Leser nicht richtig über zurückgezogene Forschungsergebnisse oder Korrekturen informieren, trifft eine Schuld.

Im Februar veröffentlichte eine Gruppe Wissenschaftler einen Erfahrungsbericht über ihren Versuch, Zeitschriften auf Fehler in Publikationen aufmerksam zu machen. Das Ergebnis: „Wir haben gelernt, dass die Peer-Review nach der Veröffentlichung nicht konsistent, glatt oder schnell verläuft. Viele Zeitschriftenredakteure schienen unvorbereitet oder schlecht ausgestattet, nachzuforschen Maßnahmen zu ergreifen oder auch nur zu antworten.“

Es gibt sehr viele Innovationen, aber nur wenig Bemühungen um Verifikation

Brian Nosek, Direktor des Center for Open Science

Eine fehlerhafte Studie existiert aber nicht einfach im luftleeren Raum. Falsche Ergebnisse können gravierende Folgen haben: „Es gibt immer sehr, sehr viele Innovationen, aber nur wenig Bemühungen um Verifikation“, sagt Nosek. „Die Konsequenz ist, dass unter Umständen beträchtliche Ressourcen in ein aufregendes neues Gebiet investiert werden, ohne dass man jemals die ursprünglichen Befunde, die dieses neue Gebiet hervorgebracht haben, verifiziert hätte.“

Unter anderem aus diesem Grund wurde in den Niederlanden im Juli das weltweit erste Programm gestartet, das ausschließlich Replikationsstudien fördert. Fördersumme: drei Millionen Euro.

Doch um das Problem wirklich zu lösen, muss man grundsätzlicher werden. Darin sind sich Nosek, Oransky und Hartgerink einig. „Replikationsarbeit wird in der wissenschaftlichen Gemeinschaft nicht ausreichend wertgeschätzt“, sagt Nosek. „Publikation ist die primäre Belohnung und eine Publikation wird wahrscheinlicher, wenn sie ein innovatives, neues Ergebnis erzielt.“ Ähnlich sieht es Oransky: „Der Grund, weshalb die Wissenschaftler sich so sehr um ihre Publikationen sorgen, ist, dass sie die Grundlage für ihre Bewertung sind, die Grundlage für ihre Forschungsgelder, ihre Beförderungen und ihre Jobs. Daher kommt der Widerwille gegen Korrekturen oder Widerrufungen.“

Stattdessen solle die wissenschaftliche Gemeinschaft aufhören, die wissenschaftliche Publikation als finales Produkt anzusehen. „Wir müssen Peer-Review auch nach der Publikation, Data-Sharing und wissenschaftliches Arbeiten statt wissenschaftlicher Publikation belohnen“, sagt Oransky. Dann sind Fehler nicht mehr so entscheidend: „Fehler werden immer passieren. Wenn sie nicht passieren, dann war die Forschungsarbeit wahrscheinlich nicht sehr spannend.“

Jetzt WIRED Member werden und mit uns in die Zukunft starten!

Mit im Paket: 4 Magazin-Ausgaben im Jahr und der Member-Zugang zu exklusiven Inhalten auf WIRED.de sowie weitere Vorteile nur für Member.

Member werden