Zur Schaffung einer vertrauenswürdigen KI sieht die EU-Kommission die Durchführung einer Risikobewertung von KI-Systemen vor. Sogenannte Hochrisiko-KI-Systeme müssen künftig strenge Anforderungen erfüllen.

ChatGPT und generell generative KI haben es bis in die Fernsehnachrichten geschafft und sind dieser Tage in aller Munde. Gefordert wird von vielen Seiten Regeln für die KI-Anwendungen zu setzen. Dass die EU-Kommission bereits am 21. April 2021 einen Gesetzesentwurf für die Regulierung Künstlicher Intelligenz (KI) vorgelegt hat, und dass seitdem zwei Jahre vergangen sind, wird nicht so deutlich gesagt. Aktuell befindet sich das Gesetzesvorhaben noch in der Abstimmung zwischen Parlament, Rat und Kommission. Bei einem üblichen Fortschreiten bedeutet das ein Inkrafttreten 2025 oder 2026. Das Dilemma liegt darin, dass die Gesetzgebungsverfahren nicht mit der technologischen Entwicklung schritthalten können.

Ziel der geplanten Verordnung ist es, einen rechtlichen Rahmen für sichere und vertrauenswürdige KI zu schaffen. KI-Systeme, die die Sicherheit, die Lebensgrundlagen und die Rechte der Menschen bedrohen und demnach ein inakzeptables Risiko bergen, werden verboten. Für KI-Systeme mit hohem Risiko gelten strenge Anforderungen.

Risiken der Diskriminierung von Personengruppen durch KI-Systeme

KI-Anwendungen können Risiken im Zusammenhang mit Diskriminierung bergen, wenn sie zur Aussonderung bestimmter Personengruppen führen, beispielsweise in einem KI-basierten Bewerbungsverfahren oder bei einer automatisierten Bonitätsprüfung. Das kann insbesondere dann passieren, wenn das KI-System nicht hinreichend trainiert oder die Datenbasis unvollständig, bzw. qualitativ unzureichend ist. Die körperliche Unversehrtheit kann bei KI-Anwendungen in Medizin, Mobilität oder Industrie in Mitleidenschaft gezogen werden.

Der Rechtsrahmen, der von der EU-Kommission vorgeschlagen wurde, soll gewährleisten, dass KI-Anwendungen sicher und mit dem Wertesystem in der EU vereinbar sind und so Vertrauen schaffen. Deshalb soll er für alle Anbieter gelten, die KI-Systeme in der EU in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der EU oder in einem Drittland ansässig sind (Art. 2 Abs. 1). Die Verordnung folgt einem risikobasierten Ansatz und unterscheidet zwischen Anwendungen von KI, die ein inakzeptables Risiko, ein hohes Risiko und ein geringes oder minimales Risiko darstellen.

Bei einer Einstufung unter geringem Risiko genügt es Nutzern mitzuteilen, dass sie es mit einer KI zu tun haben, dass diese ggfs. eine Emotionserkennung einsetzt und, wenn das der Fall ist, die KI Deepfakes erzeugt, also täuschend echt wirkende Bilder oder Tonaufnahmen. Ausnahmen gibt es im Bereich von Meinungsfreiheit, Kunst und Wissenschaft.

Für KI-Systeme mit hohem Risiko schreibt die Verordnung u. a. ein Risikomanagementsystem vor. Trainings– Validierungs– und Testdatensätze müssen Qualitätskriterien entsprechen, die in Art. 10, Absätze 2 – 5 aufgeführt sind und es ist eine technische Dokumentation (Art. 11, Abs. 1 und Anhang IV) zu erstellen. Art. 13 fordert eine hinreichende Transparenz und die Bereitstellung von Informationen für den Nutzer. Ebenfalls strenge Regeln sollen für die Aufsicht von Hochrisiko-KI-Systemen durch Menschen und die Gewährleistung der Cybersicherheit gelten. Wenn sämtliche Bedingungen erfüllt sind wird dies durch das Anbringen des CE-Zeichens kenntlich gemacht.

Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten vorläufig die in folgenden KI-Systeme:

1. Biometrische Identifizierung und Kategorisierung natürlicher Personen:
2. a) KI-Systeme, die bestimmungsgemäß für die biometrische Echtzeit-Fernidentifizierung und nachträgliche biometrische Fernidentifizierung natürlicher Personen verwendet werden sollen;
3. Verwaltung und Betrieb kritischer Infrastrukturen:
4. a) KI-Systeme, die bestimmungsgemäß als Sicherheitskomponenten in der Verwaltung und im Betrieb des Straßenverkehrs sowie in der Wasser-, Gas-, Wärme– und Stromversorgung verwendet werden sollen;
5. Allgemeine und berufliche Bildung:
6. a) KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang oder die Zuweisung natürlicher Personen zu Einrichtungen der allgemeinen und beruflichen Bildung verwendet werden sollen;
7. b) KI-Systeme, die bestimmungsgemäß für die Bewertung von Schülern in Einrichtungen der allgemeinen und beruflichen Bildung und für die Bewertung der Teilnehmer an üblicherweise für die Zulassung zu Bildungseinrichtungen erforderlichen Tests verwendet werden sollen;
8. Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit:
9. a) KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere für die Bekanntmachung freier Stellen, das Sichten oder Filtern von Bewerbungen und das
10. Bewerten von Bewerbern in Vorstellungsgesprächen oder Tests;
11. b) KI-Systeme, die bestimmungsgemäß für Entscheidungen über Beförderungen und über Kündigungen von Arbeitsvertragsverhältnissen, für die Aufgabenzuweisung sowie für die Überwachung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden sollen;
12. Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen:
13. a) KI-Systeme, die bestimmungsgemäß von Behörden oder im Namen von Behörden verwendet werden sollen, um zu beurteilen, ob natürliche Personen Anspruch auf öffentliche Unterstützungsleistungen und –dienste haben und ob solche Leistungen und Dienste zu gewähren, einzuschränken, zu widerrufen oder zurückzufordern sind;
14. b) KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Kreditpunktebewertung natürlicher Personen verwendet werden sollen, mit Ausnahme von KI-Systemen, die von Kleinanbietern für den Eigengebrauch in Betrieb genommen werden;
15. c) KI-Systeme, die bestimmungsgemäß für die Entsendung oder Priorisierung des Einsatzes von Not– und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe, verwendet werden sollen;
    Strafverfolgung:
16. a) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden für individuelle Risikobewertungen natürlicher Personen verwendet werden sollen, um das Risiko abzuschätzen, dass eine natürliche Person Straftaten begeht oder erneut begeht oder dass eine Person zum Opfer möglicher Straftaten wird;
17. b) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person verwendet werden sollen;
18. c) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden zur Aufdeckung von Deepfakes gemäß Artikel 52 Absatz 3 verwendet werden sollen;
19. d) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden zur Bewertung der Verlässlichkeit von Beweismitteln im Zuge der Ermittlung oder Verfolgung von Straftaten verwendet werden sollen;
20. e) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden zur Vorhersage des Auftretens oder erneuten Auftretens einer tatsächlichen oder potenziellen Straftat auf der Grundlage des Profils natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder vergangenen kriminellen Verhaltens natürlicher Personen oder von Gruppen verwendet werden sollen;
21. f) KI-Systeme, die bestimmungsgemäß von Strafverfolgungsbehörden zur Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 im Zuge der Aufdeckung, Ermittlung oder Verfolgung von Straftaten verwendet werden sollen;
22. g) KI-Systeme, die bestimmungsgemäß zur Kriminalanalyse natürlicher Personen eingesetzt werden sollen und es den Strafverfolgungsbehörden ermöglichen, große komplexe verknüpfte und unverknüpfte Datensätze aus verschiedenen Datenquellen oder in verschiedenen Datenformaten zu durchsuchen, um unbekannte Muster zu erkennen oder verdeckte Beziehungen in den Daten aufzudecken;
23. Migration, Asyl und Grenzkontrolle:
24. a) KI-Systeme, die bestimmungsgemäß von zuständigen Behörden als Lügendetektoren und ähnliche Instrumente oder zur Ermittlung des emotionalen Zustands einer natürlichen Person verwendet werden sollen;
25. b) KI-Systeme, die bestimmungsgemäß von zuständigen Behörden zur Bewertung eines Risikos verwendet werden sollen, einschließlich eines Sicherheitsrisikos, eines Risikos der irregulären Einwanderung oder eines Gesundheitsrisikos, das von einer natürlichen Person ausgeht, die in das Hoheitsgebiet eines Mitgliedstaats einzureisen beabsichtigt oder eingereist ist;
26. c) KI-Systeme, die bestimmungsgemäß von zuständigen Behörden zur Überprüfung der Echtheit von Reisedokumenten und Nachweisunterlagen natürlicher Personen und zur Erkennung unechter Dokumente durch Prüfung ihrer Sicherheitsmerkmale verwendet werden sollen;
27. d) KI-Systeme, die bestimmungsgemäß zuständige Behörden bei der Prüfung von Asyl– und Visumanträgen sowie Aufenthaltstiteln und damit verbundenen DE 7 DE Beschwerden im Hinblick auf die Feststellung der Berechtigung der den Antrag stellenden natürlichen Personen unterstützen sollen;
28. Rechtspflege und demokratische Prozesse:
29. a) KI-Systeme, die bestimmungsgemäß Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte unterstützen sollen.