Unakzeptables Risiko: Verbotene KI-Systeme nach Art. 5 EU AI Act

Das Konzept des unakzeptablen Risikos ist das strengste Niveau der Regulierung im EU AI Act. KI-Systeme dieser Kategorie werden als eine so schwerwiegende Bedrohung für die Grundrechte, die Sicherheit oder die Demokratie angesehen, dass ihr Einsatz ohne jede Ausnahme untersagt ist.

Artikel 5 der EU KI-Verordnung listet diese verbotenen Praktiken abschließend auf. Ein Verstoß gegen diese Verbote stellt die gravierendste Form der Nichteinhaltung dar und kann zu den höchsten Bußgeldern führen: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes – je nachdem, welcher Betrag höher ist.

Die Verbote gelten seit dem 2. Februar 2025 – also sechs Monate nach dem Inkrafttreten des EU AI Act am 1. August 2024.

Der EU AI Act verbietet folgende KI-Systeme und -Praktiken vollständig:

1. Unterschwellige Manipulation

KI-Systeme, die unterschwellige oder täuschende Techniken einsetzen, um das Verhalten von Menschen zu beeinflussen, ohne dass diese es bewusst wahrnehmen können – insbesondere wenn dadurch erheblicher Schaden entsteht. Dazu zählt beispielsweise KI, die unbewusste Kaufentscheidungen manipuliert oder die politische Meinungsbildung verdeckt lenkt.

2. Ausnutzung von Schwächen

KI-Systeme, die gezielt Schwächen oder Vulnerabilitäten von Personen ausnutzen – etwa aufgrund von Alter, Behinderung oder sozioökonomischer Lage – und dadurch das Verhalten dieser Personen in einer Art und Weise beeinflussen, die ihnen schaden kann.

3. Social Scoring durch staatliche Stellen

Das sogenannte Social Scoring: KI-Systeme, die von öffentlichen Behörden oder in deren Auftrag eingesetzt werden, um Menschen auf Basis ihres Verhaltens, sozialer Merkmale oder persönlicher Eigenschaften zu bewerten oder zu klassifizieren, mit dem Ziel, sie nachteilig zu behandeln. Das klassische Beispiel ist das staatliche Social-Credit-System nach chinesischem Vorbild.

4. Vorhersage von Straftaten auf Basis von Profiling

KI-Systeme, die das Risiko einer Person, eine Straftat zu begehen, allein auf Grundlage von Profiling oder Persönlichkeitsmerkmalen einschätzen – ohne konkrete, objektiv überprüfbare Fakten, die direkt mit kriminellen Aktivitäten in Verbindung stehen.

5. Gesichtsdatenbanken aus Massenüberwachung

Das ungezielte Scrapen von Gesichtsbildern aus dem Internet oder aus CCTV-Aufnahmen zum Aufbau von Gesichtsdatenbanken. Diese Praxis verletzt grundlegend das Recht auf informationelle Selbstbestimmung.

6. Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen

KI-Systeme zur Erkennung und Ableitung von Emotionen von Personen in Arbeits- oder Bildungssituationen – außer für medizinische oder sicherheitsrelevante Zwecke. Arbeitgeber dürfen also keine KI einsetzen, die die Stimmung oder das emotionale Befinden von Mitarbeitenden überwacht.

7. Biometrische Kategorisierung nach sensiblen Merkmalen

KI-Systeme, die Personen anhand biometrischer Daten nach ihrer Rasse, politischen Überzeugung, Gewerkschaftszugehörigkeit, Religion, Sexualleben oder sexuellen Orientierung kategorisieren.

8. Echtzeit-Fernbiometrische Identifizierung im öffentlichen Raum (für Strafverfolgung)

Der Einsatz von Real-Time Remote Biometric Identification (RBI) in öffentlich zugänglichen Räumen für Strafverfolgungszwecke ist grundsätzlich verboten. Es gibt eng begrenzte Ausnahmen, etwa bei der Suche nach vermissten Kindern oder zur Abwehr unmittelbarer Terrorbedrohungen.

Für die Echtzeit-RBI gelten enge Ausnahmen, die kumulativ erfüllt sein müssen:

• Suche nach vermissten Personen, Opfern von Menschenhandel oder sexuellem Missbrauch
• Abwehr einer erheblichen und unmittelbaren Bedrohung des Lebens oder eines vorhersehbaren Terroranschlags
• Identifizierung von Verdächtigen bei schweren Straftaten (z. B. Mord, Vergewaltigung, Drogenhandel)

Auch bei diesen Ausnahmen müssen Strafverfolgungsbehörden:

• eine Folgenabschätzung für Grundrechte durchführen
• das System in der EU-Datenbank registrieren
• eine gerichtliche oder unabhängige behördliche Genehmigung einholen

Diese strengen Anforderungen sollen sicherstellen, dass selbst die Ausnahmen nur in wirklich zwingenden Fällen genutzt werden.

Verstöße gegen die Verbote des Artikels 5 werden mit den höchsten Bußgeldern des EU AI Act geahndet:

Verstoß	Maximales Bußgeld
Verstoß gegen Art. 5 (verbotene Praktiken)	35.000.000 € oder 7% des weltweiten Jahresumsatzes
Übermittlung falscher Informationen an Behörden	7.500.000 € oder 1% des weltweiten Jahresumsatzes

Für kleine und mittlere Unternehmen sowie Start-ups können die nationalen Behörden geringere Bußgelder verhängen, sofern die Sanktion verhältnismäßig bleibt.

Wenn Ihr Unternehmen eines der folgenden KI-Systeme einsetzt, müssen Sie sofort handeln:

• Emotionserkennung von Mitarbeitenden: Systeme zur Analyse des emotionalen Zustands von Beschäftigten in Videokonferenzen, E-Mails oder am Arbeitsplatz müssen abgeschaltet oder durch zulässige Alternativen ersetzt werden.
• Automatische Persönlichkeitsbewertung im Recruiting: Systeme, die Bewerber ausschließlich auf Basis von Profiling ablehnen, müssen überprüft werden.
• Biometrische Massenerfassung: Kamerasysteme mit unbeschränkter Gesichtserkennung müssen angepasst werden.

Nutzen Sie unser KI-Risiko-Check-Tool, um zu prüfen, ob Ihre eingesetzten KI-Systeme unter die verbotenen Kategorien fallen.