Europäisches Parlament will KI-Systeme besser überwachen

Laut einer Umfrage des TÜV-Verbands wünschen sich 79 Prozent der Deutschen, dass Produkte und Anwendungen mit Künstlicher Intelligenz grundsätzlich gekennzeichnet werden, 71 Prozent fordern eine umfassende gesetzliche Regulierung der Technologie, 80 Prozent sogar ein von unabhängigen Stellen vergebenes KI-Prüfzeichen.

Der Grund: Neben vielen Hoffnungen – 53 Prozent rechnen zukünftig durch den Einsatz der Technik mit Zeitersparnissen, 48 Prozent mit Energieeinsparungen und 43 Prozent mit Entlastungen von Routinetätigkeiten – haben die Befragten viele Sorgen und Vorbehalte im Zusammenhang mit dem Einsatz von KI.

66 Prozent der Befragten nennen die Angst vor Hackerangriffen, die mithilfe von KI automatisiert oder personalisiert werden. Es folgen die Sorge vor Massenüberwachung (62 Prozent) oder einem Missbrauch persönlicher Daten (61 Prozent). Bei 61 Prozent besteht die Sorge, dass KI genutzt wird, um Menschen zu manipulieren. Weitere Befürchtungen betreffen Arbeitsplatzverluste durch den Einsatz von KI-Systemen (57 Prozent) und die Diskriminierung von Menschen, beispielsweise bei der Personalauswahl oder bei der automatisierten Vergabe von Krediten (41 Prozent).

In der Resolution des EU-Parlaments, die mit 377 gegen 248 Stimmen bei 62 Enthaltungen angenommen wurde aber nicht rechtsverbindlich ist, weisen die Europa-Abgeordneten explizit auf das Risiko algorithmischer Voreingenommenheit bei KI-Anwendungen hin und betonen die Notwendigkeit menschlicher Aufsicht und starker rechtlicher Kontrollen, um Diskriminierung durch KI zu verhindern, insbesondere bei Strafverfolgung oder Grenzübertritten.

Die Abgeordneten betonen, dass die endgültigen Entscheidungen immer von Menschen getroffen werden sollten. Personen, die von KI-gestützten Systemen überwacht werden, müssten die Möglichkeit haben, Rechtsmittel einzulegen.

Viele der derzeit verwendeten algorithmusgesteuerten Identifizierungstechnologien identifizieren demnach unverhältnismäßig viele Personen falsch. Menschen, die aufgrund von Rassismus benachteiligt sind, Personen, die bestimmten ethnischen Gemeinschaften angehören, LGBTI-Personen, Kindern und älteren Menschen sowie Frauen würde daher Schaden zugefügt, was besonders bedenklich sei, wenn KI-Systeme in einem Kontext der Strafverfolgung oder Justiz eingesetzt werden.

Um sicherzustellen, dass die Grundrechte beim Einsatz dieser Technologien gewahrt bleiben, sollten die Algorithmen transparent, nachvollziehbar und ausreichend dokumentiert sein, fordern die Abgeordneten. Wenn möglich, sollten die Behörden Open-Source-Software verwenden, um mehr Transparenz zu gewährleisten.

Um Verbraucher besser vor Fehlentscheidungen und Diskriminierung schützen, hatte die Bundesregierung bereits im Juli 2018 eine Datenethikkommission (DEK) eingerichtet. Diese lieferte vor ziemlich genau zwei Jahren einen Bericht mit Handlungsempfehlungen zu KI, algorithmischen Systemen und Datenpolitik ab. Von zehn Empfehlungen wurde eine bisher gar nicht und die neun verbleibenden nur teilweise umgesetzt, meldet dermeldet der „In der Gesamtschau bleiben Bundesregierung und EU-Kommission mit ihren aktuellen Vorhaben weiter hinter den Empfehlungen der DEK zurück. Vieles ist zu unkonkret und unverbindlich”, sagt vzbv-Vorstand Klaus Müller. „Die künftige Bundesregierung muss sich zum Schutz der Nutzerinnen und Nutzer vor Diskriminierung durch KI-Systeme bekennen. Sie muss sich für Nachvollziehbarkeit und unabhängige Kontrollen von KI-Systemen einsetzen und dies mit Nachdruck auch auf europäischer Ebene vertreten. Nur so können das Vertrauen und die Akzeptanz für den Einsatz dieser Technologien bei den Verbraucherinnen und Verbrauchern gestärkt werden.”

Der vzbv untersucht regelmäßig, ob und wie Bundesregierung und EU-Kommission die Empfehlungen der DEK umsetzen. Im Oktober 2020 erschien die erste, ernüchternde Jahresbilanz. Auch ein Jahr später fällt das Urteil kritisch aus. Größte Baustellen sind aus vzbv-Sicht die Themen Transparenz und Risikofolgenabschätzung von KI-Systemen.

Es brauche unabhängige Kontrollen von kritischen KI-Systemen, die zum Beispiel zur Profilbildung und für Scoring genutzt werden. Ein Kompetenzzentrum Algorithmische Systeme könnte dabei helfen, bestehende Aufsichtsbehörden durch technischen Sachverstand bei der Kontrolle algorithmischer Systeme zu unterstützen.

Der vzbv fordert von der künftigen Bundesregierung, sich im Koalitionsvertrag klar zu einer KI-Regelung auf EU-Ebene zu bekennen, die Menschen effektiv vor Diskriminierung und ungerechter Behandlung schützt. Zentrale Voraussetzungen hierfür seien neben Transparenz und Nachvollziehbarkeit von KI-basierten Entscheidungen unabhängige Kontrollen und strenge Qualitätsanforderungen an diese Anwendungen.

Um die Privatsphäre und die Menschenwürde zu wahren, fordern die Abgeordneten das dauerhafte Verbot der Verwendung einer automatisierten Erkennung von Personen in öffentlich zugänglichen Räumen, da Bürger nur dann überwacht werden sollten, wenn sie einer Straftat verdächtigt werden. Das Parlament fordert ein Verbot der Nutzung privater Gesichtserkennungsdatenbanken (wie das bereits im Einsatz befindliche KI-System Clearview) und der vorausschauenden Polizeiarbeit auf der Grundlage von Verhaltensdaten.

Die Abgeordneten verlangen auch ein Verbot von Social-Scoring-Systemen, die versuchen, die Vertrauenswürdigkeit von Bürgern auf der Grundlage ihres Verhaltens oder ihrer Persönlichkeit zu bewerten. Schließlich ist das Parlament besorgt über die Verwendung biometrischer Daten für Zwecke der Fernidentifizierung von Personen. Die Abgeordneten fordern die Kommission auf, Vertragsverletzungsverfahren gegen Mitgliedstaaten einzuleiten, wenn dies notwendig ist.

Der bulgarische Berichterstatter Petar Vitanov sagte: „Grundrechte brauchen keine Rechtfertigung. Zum ersten Mal überhaupt fordern wir ein Moratorium für den Einsatz von Gesichtserkennungssystemen zu Strafverfolgungszwecken, da sich die Technologie als unwirksam erwiesen hat und oft zu diskriminierenden Ergebnissen führt. (...) Dies ist ein großer Gewinn für alle europäischen Bürger.”

Die Wünsche der Teilnehmenden der TÜV-Umfrage gehen deutlich weiter: Um die Sicherheit von KI-Anwendungen zu gewährleisten, wünschen sich 81 Prozent der Befragten unabhängige Prüfungen, bevor die Produkte auf den Markt kommen. 79 Prozent fordern Sicherheitsprüfungen von KI-Produkten auch dann, wenn diese bereits auf dem Markt sind.

„Vor allem bei sicherheitskritischen KI-Anwendungen sind unabhängige Prüfungen im laufenden Betrieb notwendig, zum Beispiel von Fahrzeugen oder Geräten der Medizintechnik“, sagte Dr. Dirk Stenkamp, Präsident des TÜV-Verbands, denn auch KI-gestützte Produkte könnten mit der Zeit verschleißen oder durch Software-Updates ihre Funktion verändern.

Beim Regulierungsentwurf der EU-Kommission sieht der TÜV-Verband Nachbesserungsbedarf. Stenkamp: „KI-Systeme, von denen ein hohes Risiko ausgeht, sollten grundsätzlich von unabhängigen Dritten geprüft werden.” Für die Prüfung und Zertifizierung von KI-Anwendungen schlägt der Verband die Einrichtung interdisziplinärer Teams vor, in denen KI-Anbieter, Unternehmen, Forschungseinrichtungen und Prüforganisationen gemeinsam an Normen und Standards für KI arbeiten und neue Prüfverfahren entwickeln. Dafür sei jedoch eine politische Förderung der neuen Bundesregierung notwendig.

Das Marktforschungsunternehmen Statista befragte im August 2021 im Auftrag des TÜV-Verbands 1.000 Personen ab 16 Jahren in Deutschland. Die Befragung ist repräsentativ für die Gesamtbevölkerung.