COVID-19: Viele Preprints sind von schlechter Qualität

Wissenschaftler von Cochrane Deutschland haben den Streit um die Berichterstattung der BILD-Zeitung über eine Preprint-Studie von Prof. Christian Drosten zum Anlass genommen, zur Qualität von Preprints zur Corona-Pandemie Strellung zu nehmen.

Ergebnisse und Schlussfolgerungen aus Preprints hätten stets nur einen vorläufigen Charakter, weil ihnen die sonst übliche Qualitätskontrolle durch Peer Review fehlt, stellten die Forscher klar. Deshalb könnten sich auf Preprint-Servern gegebenenfalls auch Studien mit gravierenden Mängeln in der Methodik oder Interpretation finden, die in einer Fachzeitschrift mit qualitätssichernden Maßnahmen wie Peer Review so nicht zur Veröffentlichung kämen.
„In der Tat sehen wir zur Zeit aus aller Welt eine große Anzahl von Studien zu COVID-19 mit teils erheblichen methodischen Limitationen, beispielsweise ohne  Vergleichsgruppen oder mit sehr geringen Teilnehmerzahlen, die auf die Schnelle als Preprint ohne Peer Review veröffentlicht werden", sagt Jörg Meerpohl, Direktor von Cochrane Deutschland und Direktor des Instituts für Evidenz in der Medizin am Universitätsklinikum Freiburg.
"Solche Studien werden dann gelegentlich in sozialen und sonstigen Medien, teils auch durch Wissenschaftler selbst, als wichtige wissenschaftliche Ergebnisse dargestellt, die Entscheidungen in der Gesundheitsversorgung einzelner Patienten oder auch politische Entscheidungen auf Systemebene begründen sollen", führt er aus. Dies sei äußerst problematisch, da die Berichterstattung oft diese inhaltlichen Unsicherheiten nicht ausreichend berücksichtigt. Gleichzeitig seien eventuelle Schwächen und die fachliche Diskussion darum Teil des „Prinzips Preprint“ und dürften nicht als Anlass missbraucht werden, einzelne Forscher öffentlich zu diffamieren.

Meerpohl ruft darum dazu auf, die bisherige Forschung zu COVID-19 sorgfältiger zu betrachten. „Entscheidend ist, dass die unvermeidlichen Limitationen gerade solcher Preprint-Publikationen in der Diskussion berücksichtigt und die Ergebnisse entsprechend vorsichtig interpretiert werden. Die Evidenz zu COVID-19 ist zurzeit noch lückenhaft, vorläufig und teils methodisch schwach. Doch auch wenn sich dies dringend ändern muss, so ist sie momentan eben doch noch die beste Evidenz, die wir haben.“
Für die kritische Einordnung und Sortierung der Flut von Studienergebnissen seien Evidenzsynthesen in Form von systematischen Reviews, wie sie Cochrane und andere zurzeit mit Hochdruck erstellen, besonders wichtig.

Meerpohl zufolge spreche all dies nicht prinzipiell gegen die Nutzung von Preprint-Servern. „Aber wir alle - Wissenschaftler, Medien, Öffentlichkeit, Politik - müssen lernen, mit dieser neuen Form der Vorab-Veröffentlichung von Ergebnissen angemessen umzugehen.“ Dazu gehöre auch, dass Wissenschafts- und Medizinjournalisten den Wissenschafts- und Publikationsprozess kennen und in der Lage sind, Studienergebnisse richtig einzuordnen, um die Öffentlichkeit nicht durch fragwürdige Informationen und Deutungen zu verunsichern.

All diese Vor- und Nachteile von Preprint-Publikationen seien unter Forschern, aber auch unter guten Wissenschaftsjournalisten durchaus bekannt. Problematisch werde es, wenn Preprint-Ergebnisse wie nun geschehen ohne die passende Einordnung in einem frühen Stadium der Diskussion die Aufmerksamkeit der breiten Öffentlichkeit erhalten.
Die Forscher weisen zugleich auf die Vorteile von Preprints hin. So erhöhe sich durch sie die Geschwindigkeit erhöht, mit der Forschungsergebnisse der wissenschaftlichen Welt zugänglich gemacht und verbreitet werden, es werde zudem kritisches Feedback  zur Studie ermöglicht, ehe diese den formalen Begutachtungsprozess einer Fachzeitschrift durchläuft.
"Im Idealfall steht am Ende eine finale Publikation in einer Fachzeitschrift, die durch Diskussion und Anpassung durch die Autoren in der vorgeschalteten Preprint-Phase bestmöglich Studienergebnisse berichtet und somit verlässliche Evidenz zur untersuchten Fragestellung liefert", schreiben die Forscher.

In manchen Disziplinen wie der Physik und den Lebenswissenschaften sei das Veröffentlichen von Preprints schon länger ein gängiger Teil der Publikationskultur gewesen, die Pandemie habe jedoch zu einer wahren Flut von Preprint-Publikationen geführt, weil auf diese Weise Studienergebnisse, die für die Eindämmung der Pandemie wichtig sein könnten, schneller bekannt gemacht werden können.
In der Debatte um Preprints solle den Forschern zufolge allerdings auch nicht der Eindruck entstehen, als sei eine reguläre Veröffentlichung mit Peer Review in einem angesehenen Fachjournal eine absolute Garantie für vertrauenswürdige Forschungsergebnisse. Das belege der aktuelle Fall von zwei Studien zur Behandlung von COVID-19, die vergangene Woche von „The Lancet“ und dem „New England Journal of Medicine“ zurückgezogen wurden. Grund waren erst nach der Publikation aufgekommene erhebliche Zweifel an der Seriosität der Rohdaten, welche von einer in Chicago ansässigen Firma namens Surgisphere erhoben worden waren.
„Es ist in der Tat sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer Review, noch im editoriellen Prozess der Journale aufgefallen sind. Gerade bei so hochrangigen Zeitschriften sollte so etwas nicht vorkommen“, kommentiert Meerpohl. „Für die Wahrnehmung der Qualität und Vertrauenswürdigkeit der Wissenschaft in der Öffentlichkeit ist so etwas natürlich fatal.“ Der Prozess des Peer Reviews sei zwar höchst sinnvoll, bedürfe aber dringend grundlegender Verbesserungen.
Die kompletten Stellungnahmen finden Sie hier .