Krankenkassen-Algorithmus benachteiligt schwarze Patienten

Von der Vorhersage, welcher Kriminelle zum Wiederholungstäter wird, bis hin zu der Frage, wer am besten für einen Job infrage kommt, treffen heute in den USA vielfach Computeralgorithmen anstelle von Menschen die Entscheidung. Dabei wird immer häufiger festgestellt, dass viele dieser Algorithmen dieselben rassistischen, sozioökonomischen oder geschlechtsspezifischen Vorurteile reproduzieren, die sie eigentlich überwinden sollen, berichtet die University of California, Berkeley.

Die Wissenschaftler aus Berkeley haben gemeinsam mit Kollegen von der University of Chicago und des in Boston ansässigen, gemeinnützigen Krankenhaus- und Ärztenetzwerks "Partners HealthCare" herausgefunden, dass auch eine Software der US-Gesundheitsbranche, die den Zugang von Millionen von Amerikanern zu Gesundheitsleistungen steuert, einen rassistisches Bias hat.

Dabei kommt die am 25. Oktober in der Fachzeitschrift Science veröffentlichte Studie zu dem Schluss, dass der untersuchte Algorithmus relativ gesünderen Weißen routinemäßig eher die Teilnahme an Programmen für Hochrisiko-Patienten gewährte als ungesünderen Schwarzen. Korrigert man diese Verzerrung, würde die Anzahl der automatisch zu diesen Programmen zugelassenen schwarzen Patienten von 17,7 Prozent auf 46,5 Prozent steigen, prognostizieren die Autoren.

Der Bias entsteht, weil die Algorithmen die Kosten des Gesundheitswesens zur Ermittlung des relativen Patientenrisikos heranziehen, erklärt Ziad Obermeyer, stellvertretender Professor für Gesundheitspolitik und -management in Berkeley und Hauptautor der Studie. "Und aufgrund der strukturellen Ungleichheiten in unserem Gesundheitssystem verursachen Schwarze bei einem bestimmten Gesundheitszustand niedrigere Kosten als Weiße."

Berechnet nun der Algorithmus das individuelle Patientenrisiko auf Grundlage der in der Vergangenheit entstandenen Kosten, ergibt sich bei gleich kranken Patienten eine geringe Risikobewertung für Schwarze. Das bedeutet auch, dass schwarze Patienten bei der Verwendung des fehlerbehafteten Algorithmus in der Realität kränker sein müssen als weiße, um dieselbe Risikobewertung zu erhalten.

"Algorithmen an sich sind weder gut noch schlecht", betont Sendhil Mullainathan, Professor für Computer- und Verhaltensforschung an der Universität von Chicago. "Es geht nur darum, darauf zu achten, wie sie gebaut sind. In diesem Fall ist das Problem in hohem Maße behebbar – und mindestens ein Hersteller scheint an einer Lösung zu arbeiten."

Die Autoren wünschen sich für die Zukunft Routine-Überprüfungen in den Arbeitsabläufen von Algorithmus-Entwicklern. Das Aufdecken algorithmischer Verzerrungen – sei es in der Strafjustiz, bei Einstellungsentscheidungen oder im Gesundheitswesen – werde aktuell jedoch häufig dadurch erschwert, dass viele der verwendeten Vorhersage-Algorithmen von privaten Unternehmen entwickelt wurden, die den Forschern keinen Einblick in die Entscheidungsstrukturen ihrer Software gewähren.

Um das Verbesserungspotenzial darzustellen, führten Mullainathan und Obermeyer einen Test mit einem Universitätskrankenhaus durch, das einen risikobasierten Algorithmus zu Patientenselektion verwendet. Für 43.539 weiße und 6.079 schwarze Patienten, die in das Krankenhaus eingewiesen wurden, erhielten die Forscher den vom Algorithmus vorhergesagten Risiko-Score und verglichen ihn mit direkteren Messungen des Gesundheitszustands eines Patienten, einschließlich der Anzahl chronischer Krankheiten und anderer Biomarker. Sie stellten fest, dass Schwarze bei einer bestimmten Risikobewertung einen deutlich schlechteren Gesundheitszustand aufwiesen als weiße Patienten.

Aber es gibt Raum für Hoffnung, meint Obermeyer. Ein verändertes Training des Algorithmus zur Ermittlung des Risikos verringerte die rassistische Tendenz erheblich – nämlich dann, wenn seine Vorhersage auf der Grundlage messbarer Variablen zum Gesundheitszustand basiert.

Ziad Obermeyer et al. "Dissecting racial bias in an algorithm used to manage the health of populations",

Science

25 Oktober 2019: Vol. 366, Issue 6464, pp. 447-453, DOI: 10.1126/science.aax2342