Übersichtsarbeit analysiert Risiken beim Einsatz von LLMs in der Medizin

Die systematische Übersichtsarbeit bündelt Erkenntnisse aus medizinischer KI-Forschung, Cybersicherheit, Regulatorik, Ethik und Verhaltenspsychologie und zeigt Wege für einen vertrauenswürdigen und verantwortungsvollen Einsatz von Künstlicher Intelligenz (KI) in der klinischen Praxis auf.

LLMs werden bereits in der Praxis eingesetzt – häufig jedoch ohne institutionelle Leitlinien oder klare Regeln. Daraus ergeben sich den Autoren zufolge neue Anforderungen für Patientensicherheit, Datenschutz und Verantwortlichkeiten. Wie die Studie zeigt, können Risiken entlang des gesamten Lebenszyklus von KI-Systemen entstehen: vom Modell-Design über Trainingsdaten und Implementierung bis hin zur Anwendung im klinischen Alltag. Die Wissenschaftler unterscheiden drei verschiedene Arten von Risiken:

1. Sicherheitsrisiken entstehen durch manipulierte Trainingsdaten („Data Poisoning“), gezielte Eingriffe in das Verhalten der Modelle oder sogenannte Prompt Injections. Dabei werden versteckte Anweisungen in Befehle eingebettet, die zu fehlerhaften oder potenziell gefährlichen Ergebnissen führen können – etwa, wenn ein Tumor in einer Gewebeprobe fälschlicherweise nicht erkannt wird. Auch Schwachstellen in der IT-Infrastruktur können sensible Daten von Patient:innen gefährden oder Systeme beeinträchtigen.

2. Modellinhärente Sicherheitsrisiken ergeben sich aus der Funktionsweise der Systeme: LLMs können plausibel klingende, aber inhaltlich falsche Informationen erzeugen. Im klinischen Kontext ist dies besonders kritisch, weil falsche Diagnosen oder Empfehlungen die Patientensicherheit gefährden können. Zudem können Modelle ihre Antworten zu stark an die Erwartungen der Nutzenden anpassen und dadurch fehlerhafte Annahmen verstärken.

3. Risiken in der Mensch-KI-Interaktion betreffen die Anwendung im Alltag: Die Art, wie Mediziner die Modelle nutzen, kann klinische Entscheidungen beeinflussen. Überzeugend formulierte Antworten könnten zu einer übermäßigen Abhängigkeit vom System führen („Automation Bias“) oder bestehende Überzeugungen verstärken („Confirmation Bias“). Komplexe oder lange Eingaben könnten zudem die Verlässlichkeit der Ergebnisse verringern.

Das Team weist auch auf strukturelle und ethische Herausforderungen hin. Denn viele Systeme werden nicht lokal betrieben, was Datenkontrolle und Datenschutz erschwert. Zudem werden LLMs vielerorts bereits informell im klinischen Alltag genutzt. Diese „Schattennutzung“ findet oft ohne entsprechende Sicherheitsmaßnahmen statt. „Unsere Analyse zeigt, dass große Sprachmodelle klinische Arbeitsabläufe sinnvoll unterstützen können. Ihr sicherer Einsatz ist jedoch nicht selbstverständlich. Risiken entstehen an vielen Stellen und müssen vor sowie parallel zur klinischen Umsetzung systematisch und umfassend adressiert werden“, sagt Erstautor Dr. Jan Clusmann.

Um Risiken zu reduzieren, schlagen die Autoren verschiedene Maßnahmen vor. Dazu zählen sichere Entwicklungsprozesse, sorgfältige Aufbereitung von Trainingsdaten, systematische Evaluation und kontinuierliches Monitoring von Modellen. Ebenso notwendig sind ihnen zufolge klar definierte Zuständigkeiten innerhalb von Gesundheitseinrichtungen. Sicherheit sei dabei nicht allein eine technische Frage, sondern erfordere ein abgestimmtes Vorgehen zwischen Forschung, klinischer Praxis und Regulierung. „Die menschliche Kontrolle bleibt zentral“, betonen die Forschenden.

Konkret empfehlen die Forschenden den Aufbau klarer Strukturen, etwa spezialisierter Teams vor Ort, die den Einsatz von KI-Systemen im Klinikalltag koordinieren und überwachen, um Vorfälle institutionsübergreifend zu erkennen und koordinierte Gegenmaßnahmen zu ergreifen.

„KI wird schon jetzt im Gesundheitswesen eingesetzt – häufig ohne formale Aufsicht. Entscheidend ist daher, wie wir diese Systeme transparent, robust und im Einklang mit klinischer Verantwortung implementieren“, sagt Prof. Jakob N. Kather.

Die Analyse zeigt auch Lücken in der aktuellen Regulierung auf: Nur ein kleiner Teil der KI-Systeme ist demnach bislang als Medizinprodukt zugelassen. Der bestehende regulatorische Rahmen ist nicht auf anpassungsfähige Technologien ausgelegt, die sich kontinuierlich weiterentwickeln.

„Um die Patientensicherheit zu gewährleisten und zugleich einen zeitnahen Nutzen für Patientinnen und Patienten sowie das Gesundheitssystem durch KI-Systeme zu ermöglichen, braucht es geeignete regulatorische Ansätze, die eine konsistente Bewertung und kontinuierliche Überwachung sicherstellen. Technologische Entwicklung sowie Aufsichts- und Überwachungsmechanismen müssen enger verzahnt werden, um das Potenzial großer Sprachmodelle sicher zu nutzen“, resümiert Prof. Stephen Gilbert.