Was ist verboten?
Verboten sind KI-Systeme, die eingesetzt werden, um die Emotionen oder Gefühlszustände von Personen in folgenden Umgebungen zu erkennen, abzuleiten oder zu analysieren:
- Am Arbeitsplatz – also in beruflichen Kontexten jeder Art
- In Bildungseinrichtungen – also in Schulen, Universitäten und anderen Lernumgebungen
Die Technologie selbst (Emotionserkennung durch KI) ist nicht verboten – der Einsatz ist es, wenn er in diesen Kontexten stattfindet.
Ausnahmen: Medizinische und Sicherheitszwecke
Das Verbot gilt nicht, wenn der Einsatz aus medizinischen Gründen (z. B. zur Überwachung des Wohlbefindens von Patienten) oder Sicherheitsgründen (z. B. zur Erkennung von Müdigkeit bei Fahrern) erfolgt.
Diese Ausnahmen sind eng auszulegen. Ein Arbeitgeber, der behauptet, das Wohlbefinden seiner Mitarbeitenden zu überwachen, fällt nicht automatisch unter die Ausnahme – der Zweck muss klar medizinisch sein und von Fachpersonal begleitet werden.
Betroffene Produkte und Anwendungen
Folgende Technologien und Produkte könnten unter das Verbot fallen:
- KI-gestützte Videokonferenz-Tools, die Mimik und Emotion analysieren
- Proctoring-Software mit Emotionsanalyse für Online-Prüfungen
- HR-Software mit Stimmungsanalyse bei Videointerviews
- Wearables, die emotionale Zustände von Mitarbeitenden erfassen und auswerten
- Customer-Service-Systeme, die die Stimmung von Call-Center-Agenten überwachen
AI Act Compliance Tool
Ist Ihr KI-System EU AI Act-konform?
Kostenlos prüfen in 10 Minuten — spezifisch für Ihr Unternehmen und Ihre Branche.
Jetzt Risiko prüfen →