---

2. Kapitel II: Verbotene AI-Praktiken

Liste mit Inhaltsangabe des Kapitel II „Verbotene KI-Praktiken“ der AI Act (Verordnung (EU) 2024/1689). Dieses kurzgehaltene Kapitel besitzt eine inhaltliche hohe Bedeutung, weil es absolute Verbote für bestimmte KI-Einsätze enthält.

Artikel 5 – Verbotene KI-Praktiken

Der Artikel nennt eine abschließende Liste von KI-Anwendungen, die innerhalb der EU strikt verboten sind. Es handelt sich um Anwendungen, die mit den Grundrechten, der Menschenwürde und der öffentlichen Sicherheit unvereinbar sind.

Die Verbote gelten unabhängig vom Risiko-Level oder einer möglichen Risikokontrolle. Mit anderen Worten: Auch wenn ein Anbieter Sicherheitsmaßnahmen verspricht, sind diese Praktiken in der EU nicht zulässig.

1. Unzulässige Beeinflussung des Verhaltens

Verboten sind KI-Systeme, die:

• Techniken der Unterbewusstseins- oder Verhaltensmanipulation nutzen,
• mit dem Ziel, das Verhalten von Personen wesentlich zu beeinflussen,
• und die dadurch Schäden oder erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte verursachen können.

Beispiel: Ein KI-System, das unbemerkt Suchergebnisse so manipuliert, dass eine Person riskante Entscheidungen trifft (z. B. gesundheitsschädliche Handlungen).

2. Ausnutzung von Schwächen bestimmter Gruppen

KI-Systeme dürfen nicht darauf abzielen, die Verletzlichkeit von Personen auszunutzen, z. B. aufgrund von:

• Alter (Kinder, ältere Menschen),
• körperlicher oder geistiger Behinderung,
• sozialer oder wirtschaftlicher Lage.

Beispiel: Eine App, die Kinder mit psychologisch manipulativen Techniken zum Kauf unnötiger Produkte animiert.

3. Sozialbewertung (Social Scoring)

Verboten ist die Verwendung von KI durch Behörden oder öffentliche Stellen zur Erstellung von Sozialwertungen von Personen (vergleichbar mit „Social Credit Systems“).

Charakteristik:

• Bewertung des sozialen Verhaltens oder der persönlichen Eigenschaften einer Person.
• Nutzung dieser Bewertung für Nachteile oder Bevorzugungen, die unangemessen oder unverhältnismäßig sind.

Beispiel: Wenn eine Stadtverwaltung über ein KI-System die „gesellschaftliche Nützlichkeit“ von Bürgern bewertet und darauf Zugänge zu Leistungen beschränkt.

4. Echtzeit-Fernidentifikation mit biometrischen Systemen im öffentlichen Raum

Die Nutzung von Echtzeit-Systemen zur biometrischen Fernidentifikation (z. B. Gesichtserkennung) in öffentlich zugänglichen Räumen durch Strafverfolgungsbehörden ist grundsätzlich verboten.

• Definition: Systeme, die in Echtzeit Personen im öffentlichen Raum mit Datenbanken abgleichen.
• Grund: Sie stellen eine Gefahr für Privatsphäre, Versammlungsfreiheit und Menschenrechte dar.

Enge Ausnahmen (nur bei richterlicher oder gesetzlich geregelter Genehmigung):

• Suche nach Opfern bestimmter Straftaten (z. B. Menschenhandel, sexuelle Ausbeutung von Kindern).
• Abwehr einer unmittelbaren terroristischen Bedrohung.
• Identifizierung von Personen, die wegen schwerer Straftaten gesucht werden.

Wichtig: Diese Ausnahmen sind streng reguliert, zeitlich und räumlich begrenzt, und unterliegen richterlicher bzw. gesetzlicher Kontrolle.

5. Nachträgliche biometrische Identifikation („Post-Remote Identification“)

Auch der nachträgliche Einsatz von biometrischer Identifikation (Analyse von Videomaterial nach einem Ereignis) ist nur unter engen Bedingungen zulässig:

• Muss gesetzlich ausdrücklich erlaubt sein.
• Muss verhältnismäßig und notwendig sein.
• Unterliegt strengen Aufsichtsregeln.

Bedeutung von Kapitel II

• Kapitel II ist das Herzstück des Grundrechtsschutzes im AI Act.
• Während Kapitel III (Hochrisiko-Systeme) Pflichten auferlegt, setzt Kapitel II absolute Grenzen.
• Die Verbote spiegeln zentrale Werte wider: Schutz der Menschenwürde, Verhinderung von Massenüberwachung, Schutz vor Ausbeutung vulnerabler Gruppen.

Kurz zusammengefasst

Verbotene KI-Praktiken sind:

1. Manipulation durch unterbewusste Techniken.
2. Ausnutzung von Schwächen vulnerabler Gruppen.
3. Sozialbewertungen (Social Scoring) durch Behörden.
4. Echtzeit-Fernidentifikation mit biometrischen Daten in öffentlichen Räumen (mit engen Ausnahmen).
5. Streng kontrollierte nachträgliche biometrische Identifikationen.

---