Experten entdecken ChatGPT-Nutzung in Veröffentlichungen
Im August sorgte eine Meldung von Prof. Gauillaume Cabanac auf PubPeer für Aufsehen – einer Website, auf der Wissenschaftler veröffentlichte Forschungsergebnisse diskutieren. Der Informatiker von der Universität Toulouse postete dort den Screenshot einer mathematischen Veröffentlichung, die auf der dritten Seite des Manuskripts die Formulierung enthielt: „Regenerate Response“. Der Satz war die Bezeichnung jener Schaltfläche des KI-Bots ChatGPT, die Benutzer klicken, um eine Frage an das System abzusenden.
Die Autoren bestätigten nach Bekanntwerden des Falls gegenüber der Zeitschrift, dass sie ChatGPT zur Unterstützung bei der Erstellung ihres Manuskripts verwendet haben, erklärte die Leiterin der Peer-Review- und Forschungsintegritätsabteilung beim Verlag IOP Publishing gegenüber dem Magazin nature. Offen bleibt hingegen, warum die Anomalie weder während der zweimonatigen Begutachtung durch Fachkollegen noch im Vorfeld des Druckprozesses entdeckt worden war. Der Verlag hat nun beschlossen, das Papier zurückzuziehen, schreibt nature weiter, da die Autoren gegen Verlagsrichtlinien verstoßen haben, als sie bei der Einreichung die Verwendung nicht offengelegt hatten. Wissenswert: Viele andere Verlage, darunter etwa Elsevier und Springer Nature gestatten Autoren grundsätzlich die Nutzung von ChatGPT und andere LLM-Tools (Large Language Model) bei der Erstellung der Manuskripte, sofern dies deklariert wird.
Die Suche nach Indizien wird immer schwieriger
Das ist womöglich nur konsequent. Denn wie Matt Hodgkinson, Manager für Forschungsintegrität beim UK Research Integrity Office, gegenüber nature betont, sei es schon heute „fast unmöglich“ zu erkennen, ob KI bei der Erstellung wissenschaftlicher Arbeiten zum Einsatz kam, sobald die Forscher alle Standard-ChatGPT-Phrasen löschen.
Erst im Juli hatten Forschende zu Demonstrationszwecken in weniger als einer Stunde eine komplette Forschungsarbeit zum „Einfluss von Obst- und Gemüsekonsum und körperliche Aktivität auf Diabetesrisiko unter Erwachsenen“ mithilfe von ChatGPT erstellt. Ihr Fazit: Der Artikel war flüssig, aufschlussreich und in der für eine wissenschaftliche Arbeit erwarteten Struktur präsentiert. Trotzdem seien noch viele Hürden zu überwinden gilt, bevor das Tool im wissenschaftlichen Betrieb wirklich hilfreich sein könne, hieß es nebulös.
Konkreter benennt die Technik selbst ihre Limitationen. Cabanac ging bei seiner Suche nach verräterischen ChatGPT-Sätzen im August ein weiterer veröffentlichter Artikel ins Netz, der die Auswirkungen des E-Commerce auf die Effizienz fossiler Brennstoffe in Entwicklungsländern untersuchte. Über einer Tabelle enthielt er den Satz: „Bitte beachten Sie, dass ich als KI-Sprachmodell nicht in der Lage bin, spezifische Tabellen zu generieren oder Tests durchzuführen …“
