KI-Sprachmodelle versagen bei Medikamenten-Empfehlungen

Große Sprachmodelle (LLMs) wie ChatGPT und Claude werden zunehmend zur Bereitstellung von Gesundheitsinformationen für die Öffentlichkeit eingesetzt. Jetzt wurden in einer neuen Studie ihre Grenzen aufgezeigt: Denn die Angaben von LLMs sind bei ihren Behandlungsentscheidungen verzerrt und die Verwendung dieser Treffer könnte in der Praxis die Behandlungskosten in die Höhe treiben.

Ein Team unter der Leitung von Prof. Daiju Ueda von der Graduate School of Medicine der Osaka Metropolitan University in Zusammenarbeit mit dem MD Anderson Cancer Center der University of Texas untersuchte die kommerzielle Neutralität von durch LLMs generierten Produktempfehlungen unter den von der US-amerikanischen Food and Drug Administration (FDA) zugelassenen Produkten, die denselben Wirkstoff enthalten.

Die Wissenschaftler baten fünf LLMs (GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Flash, Llama 4 und MedGemma), bis zu drei FDA-zugelassene Medikamente für eine Reihe simulierter Szenarien zu empfehlen. Evaluiert wurden die Produktempfehlungen anhand von 177.120 synthetischen klinischen Fallvignetten, die 123 Krankheits-Arzneimittel-Paare und 1.440 soziodemografische Profile umfassten. Jedes Fallbeispiel spezifizierte eine Krankheit und einen Wirkstoff und forderte das Modell auf, von der FDA zugelassene Produkte zu nennen.

Über alle Krankheits-Arzneimittel-Paare und Modelle hinweg machte das am häufigsten angegebene Produkt durchschnittlich 97,5 Prozent der Erstempfehlungen aus, und die Modelle zeigten eine nahezu perfekte Übereinstimmung bei den Produktempfehlungen. 

Dabei wichen die von den LLMs empfohlenen Produktvorschläge von den realen Verschreibungsmustern ab und führten häufig zu höheren prognostizierten Anschaffungskosten. Empfehlungen, die nicht mit den regulatorischen Informationen übereinstimmten, variierten je nach LLM und soziodemografischen Faktoren.

Die Modelle empfahlen häufiger Produkte mit höherer Online-Sichtbarkeit (Google-Suchanfragen, Odds Ratio (OR) 1,70; eigener Wikipedia-Eintrag, OR 3,00) und bevorzugten Originalpräparate (OR 20,5). Produkte mit späterer FDA-Zulassung und solche, die in der Praxis häufiger verschrieben werden, wurden hingegen seltener empfohlen (OR 0,76 beziehungsweise 0,87).

Obwohl die angepassten Empfehlungen in die gewünschte Richtung lenkten, bevorzugten die LLMs weiterhin eine begrenzte Produktauswahl, was potenzielle Auswirkungen auf die Arzneimittelkosten und den Pharmamarkt haben könnte. Die Studie identifizierte außerdem Empfehlungen, die nicht mit den regulatorischen Informationen übereinstimmten, darunter auch solche Produkte, die nicht mehr erhältlich sind. Vor einer breiten Anwendung seien eine sorgfältige Evaluierung und gezielte Gegenmaßnahmen erforderlich, schreiben die Autorinnen und Autoren.

Im Durchschnitt waren 5,5 FDA-zugelassene Produkte für jeden angegebenen Wirkstoff verfügbar. Dennoch machte ein einzelnes Produkt im Durchschnitt 97,5 Prozent der Erstempfehlungen in den getesteten Szenarien und Modellen aus.

„Die Empfehlungen bezogen sich hauptsächlich auf Markenmedikamente, die bei Google-Suchen gut sichtbar sind, und auf Behandlungen mit eigenen Wikipedia-Seiten“, berichtet Ueda.

Anschließend bewerteten die Forschenden anhand von US-Daten die potenziellen Kosten für Patienten. Sie untersuchten ein Szenario, in dem Ärzte sich bei der Verschreibung von Medikamenten an den Empfehlungen der LLMs orientierten. „Wir stellten fest, dass die jährlichen Anschaffungskosten um etwa 55,6 Millionen US-Dollar steigen würden“, resümiert Ueda. „Dies entspricht einer Kostensteigerung von 1.019 Prozent beim Kauf dieser Medikamente.“

Wenn die Modelle angewiesen wurden, kostengünstigere oder generische Produkte zu priorisieren, passten sie ihre Empfehlungen entsprechend an; die Empfehlungen konzentrierten sich jedoch weiterhin auf eine begrenzte Anzahl von Produkten.

„Unsere Ergebnisse unterstreichen die Notwendigkeit, KI im Gesundheitswesen hinsichtlich möglicher Verzerrungen bei der Produktauswahl und beim Umgang mit Kosten- und regulatorischen Informationen zu überprüfen“, betont Ueda. „Die Kombination von KI-Systemen mit vertrauenswürdigen Arzneimittelinformationsquellen und menschlicher Aufsicht kann zu einer angemesseneren Medikamentenauswahl beitragen.“