KI-Chatbots und Kinder: Florida verklagt OpenAI, Europa zieht nach
Am 1. Juni 2026 hat Florida als erster US-Bundesstaat OpenAI und CEO Sam Altman persönlich verklagt, mit Vorwürfen von fehlender Altersverifikation bis zu Verhaltenssucht bei Minderjährigen. Für dich als Entscheider ist das mehr als eine US-Schlagzeile: Wer KI-Chatbots an ein breites Publikum ausliefert, trägt ein wachsendes Haftungs- und Compliance-Risiko. Dieser Artikel ordnet die Klage ein, zeigt die Klagewelle dahinter und erklärt, was EU AI Act, Digital Services Act und der deutsche Jugendmedienschutz von Unternehmen verlangen.
Kinder- und Jugendschutz ist 2026 zum konkreten Risiko für Anbieter von KI-Chatbots geworden. Florida verklagte am 1. Juni 2026 als erster US-Bundesstaat OpenAI und CEO Sam Altman persönlich und wirft dem Unternehmen vor, ChatGPT trotz bekannter Gefahren für Minderjährige vermarktet zu haben, ohne wirksame Altersverifikation und Eltern-Kontrollen. Die Klage steht am vorläufigen Höhepunkt einer Welle: Character.AI verbot Ende Oktober 2025 Chats für Unter-18-Jährige, Google und Character.AI einigten sich Anfang Januar 2026 in mehreren Suizid-Klagen, die US-Handelsbehörde FTC untersucht seit September 2025 sieben Unternehmen. Die Zahlen erklären den Druck: 72 Prozent der US-Teenager haben KI-Begleiter genutzt, rund ein Drittel zieht sie dem Gespräch mit Menschen bei ernsten Themen vor. Europa hat den Rechtsrahmen bereits, von Artikel 5 des EU AI Act über den DSA bis zum deutschen Jugendmedienschutz. Für Unternehmen heißt das: Jugendschutz gehört in das Produktdesign, in die Altersprüfung und in einen klaren Eskalationsweg bei Krisen.
Florida verklagt OpenAI
Florida hat am 1. Juni 2026 als erster US-Bundesstaat Klage gegen OpenAI und dessen CEO Sam Altman eingereicht. Generalstaatsanwalt James Uthmeier wirft dem Unternehmen vor, ein Produkt vermarktet zu haben, von dessen Gefahren für Minderjährige es wusste. Dass Altman persönlich benannt wird, hebt das Verfahren von gewöhnlichen Unternehmensklagen ab.
Die Rechtsgrundlage ist Floridas Verbot unlauterer und mangelhafter Geschäftspraktiken, die Schadenersatzforderung könnte in die Milliarden gehen. Auslöser war eine strafrechtliche Untersuchung zu Chatprotokollen des Täters eines Amoklaufs an der Florida State University im April 2025. Wie sich rechtliche und ethische Pflichten beim KI-Einsatz verbinden lassen, ordnet innobu im Leitfaden zu ethischer und rechtlicher KI-Compliance ein.
Die Vorwürfe im Detail
Die Klage bündelt mehrere Vorwürfe, die über den Einzelfall hinausweisen. Im Kern steht die Behauptung, OpenAI habe interne und externe Sicherheitswarnungen ignoriert und Tempo vor Schutz gestellt. OpenAI hält dagegen, Minderjährige bräuchten besonderen Schutz, und verweist auf eigene Schutzmaßnahmen.
Warum das über den Einzelfall hinausgeht: Die Klage verbindet Produktdesign, Datenschutz und Sicherheit. Genau diese drei Ebenen prüfen auch europäische Aufsichten. Eine Aussage wie sicher für Kinder ist keine Prüfung, sondern eine Behauptung, die belegt werden muss.
Kein Einzelfall: die Klagewelle
Die Florida-Klage steht am vorläufigen Höhepunkt einer längeren Entwicklung. Vor allem Companion-Chatbots, die emotionale Nähe simulieren, stehen seit Ende 2024 unter Druck. Mehrere Familien klagten, nachdem Jugendliche sich nach intensiven Chatverläufen das Leben genommen hatten.
Erste Suizid-Klage
In Florida benennt eine Klage Character.AI im Zusammenhang mit dem Suizid eines jugendlichen Nutzers. Weitere Familien folgen.
FTC-Untersuchung
Die US-Handelsbehörde fordert von sieben Unternehmen, darunter OpenAI, Meta, Google, Snap und xAI, Auskunft über den Schutz von Kindern bei Companion-Chatbots.
Character.AI sperrt Teenager
Character.AI verbietet Chats für Unter-18-Jährige. Im April 2026 folgt eine verpflichtende Altersverifikation per Gesichtsscan.
Vergleich bei Character.AI
Google und Character.AI einigen sich in fünf parallelen Verfahren in vier US-Bundesstaaten.
Florida verklagt OpenAI
Der erste Bundesstaat zieht gegen OpenAI und Sam Altman vor Gericht. Die Vorwürfe reichen von fehlender Altersprüfung bis zu Verhaltenssucht.
Wie Jugendliche KI-Begleiter nutzen
Die Zahlen zeigen, warum das Thema kein Randphänomen ist. KI-Begleiter sind im Alltag vieler Jugendlicher angekommen, oft als Gesprächspartner für persönliche Themen. Genau diese emotionale Bindung macht den Schutz so schwierig.
Nahezu ein Drittel der US-Teenager interagiert inzwischen täglich mit KI-Chatbots. Die Nutzung reicht von Hausaufgabenhilfe und Übersetzung bis zu emotionaler Unterstützung. Dass viele Jugendliche persönliche Sorgen lieber einer KI als einem Menschen anvertrauen, ist der eigentliche Befund hinter den Klagen.
Deutsche und EU-Perspektive
Europa muss die Schutzpflichten nicht erst erfinden, der Rechtsrahmen liegt vor. Anders als in den USA, wo Klagen den Standard setzen, greifen in der EU mehrere Ebenen ineinander. Die offene Frage ist die Durchsetzung.
Artikel 5 des EU AI Act verbietet seit dem 2. Februar 2025 manipulative Techniken und das Ausnutzen altersbedingter Schwächen. Der Digital Services Act verpflichtet Plattformen zum Schutz Minderjähriger, dazu stellte die EU-Kommission im Juli 2025 eine datensparsame Altersverifikations-App mit Zero-Knowledge-Verfahren vor, deren Integration in die EU-Wallet bis 2026 geplant ist. In Deutschland setzt die Kommission für Jugendmedienschutz seit dem 1. Dezember 2025 anerkannte Altersverifikation durch und fordert, KI-Systeme ausdrücklich in den Jugendmedienschutz-Staatsvertrag aufzunehmen.
Verstöße gegen die Artikel-5-Verbote können mit bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden. Für europäische Anbieter ist Jugendschutz damit kein freiwilliges Gütesiegel, sondern eine rechtliche Pflicht mit empfindlicher Sanktion. Wie sich KI-Sicherheit und Datenschutz im deutschen Kontext verzahnen, vertieft innobu im Beitrag zu KI-Sicherheit und Datenschutz in Deutschland .
Herausforderungen und Risiken
Schutz ist kein reiner Gewinn, jede Maßnahme hat Nebenwirkungen. Altersverifikation steht im Spannungsfeld zwischen Jugendschutz und Datenschutz, und freiwillige Selbstverpflichtungen reichen oft nicht.
Das eigentliche Unternehmensrisiko: Wer einen Chatbot ohne Jugendschutz betreibt, riskiert Klagen, Bußgelder und Reputationsschaden, selbst wenn Minderjährige gar nicht die Zielgruppe sind. Sobald Kinder ein Angebot faktisch erreichen können, greifen die Pflichten. Wer das Risiko nicht prüft, trägt es trotzdem.
Was Unternehmen jetzt tun sollten
Wer KI-Anwendungen mit möglichem Kontakt zu Minderjährigen betreibt, sollte Jugendschutz nicht als Kür behandeln. Die rechtlichen und Reputationsrisiken steigen schneller als viele Roadmaps. Vier Schritte helfen, vorbereitet zu sein.
-
Safety-by-Design verankern
Führe eine Risikoanalyse für Minderjährige durch, bevor ein Chatbot live geht, nicht danach. Lege fest, welche Themen der Bot gegenüber Jugendlichen meidet und wie er auf Krisen reagiert.
-
Alterserkennung und altersgerechte Modi
Prüfe Verfahren zur Altersschätzung und biete einen altersgerechten Modus. Im Zweifel sollte die strengere Variante der Standard sein, statt sich auf die Selbstauskunft zu verlassen.
-
Krisen-Routing aufbauen
Definiere eine klare Eskalation bei Anzeichen von Selbstgefährdung, mit Verweis auf Hilfsangebote und einer geprüften, dokumentierten Reaktion. Teste diese Pfade regelmäßig.
-
Rechtsrahmen aktiv beobachten
Beobachte EU AI Act, DSA und JMStV mit kurzen Prüfzyklen und benenne Verantwortliche. So erkennst du neue Pflichten, bevor sie zur Beschwerde oder Klage werden.
Jugendschutz bei KI-Chatbots ist 2026 kein Spezialthema für Juristen mehr, sondern Teil jeder ernsthaften Produktentwicklung. Wer Safety-by-Design verankert, das Alter prüft und Krisen geregelt eskaliert, senkt sein Risiko deutlich, ohne den KI-Einsatz auszubremsen.
Weiterführende Informationen
Häufig gestellte Fragen
Florida hat am 1. Juni 2026 als erster US-Bundesstaat OpenAI und CEO Sam Altman persönlich verklagt. Generalstaatsanwalt James Uthmeier wirft dem Unternehmen vor, ChatGPT trotz bekannter Gefahren für Minderjährige vermarktet zu haben, ohne wirksame Altersverifikation und Eltern-Kontrollen. Die Rechtsgrundlage ist Floridas Verbot unlauterer und mangelhafter Geschäftspraktiken, die Schadenersatzforderung könnte in die Milliarden gehen.
Laut Common Sense Media (Juli 2025) haben 72 Prozent der US-Teenager KI-Begleiter mindestens einmal genutzt, 52 Prozent regelmäßig. Rund ein Drittel zieht das Gespräch mit der KI dem mit Menschen bei ernsten oder persönlichen Themen vor. Eine Studie von Dezember 2025 zeigt, dass nahezu ein Drittel der US-Teenager täglich mit KI-Chatbots interagiert.
Artikel 5 des EU AI Act verbietet seit dem 2. Februar 2025 manipulative Techniken und das Ausnutzen altersbedingter Schwächen. KI-Systeme, die gezielt Kinder ansprechen oder deren Verhalten verzerren, sind damit untersagt. Verstöße gegen die Artikel-5-Verbote können mit bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden.
Die Kommission für Jugendmedienschutz (KJM) setzt seit dem 1. Dezember 2025 anerkannte Altersverifikationssysteme durch und fordert, KI-Systeme ausdrücklich in den Jugendmedienschutz-Staatsvertrag aufzunehmen sowie einen unabhängigen KI-Jugendschutzbeauftragten einzubinden. Generative Chatbots, die sich gezielt an Kinder richten oder Profile nutzen, werden als hochriskant eingestuft.
Vier Schritte sind sofort umsetzbar: erstens Safety-by-Design verankern und eine Risikoanalyse für Minderjährige vor dem Rollout durchführen, zweitens Alterserkennung und altersgerechte Modi prüfen und im Zweifel die strengere Variante als Standard setzen, drittens ein Krisen-Routing mit klarer Eskalation bei Anzeichen von Selbstgefährdung aufbauen, viertens EU AI Act, DSA und JMStV mit kurzen Prüfzyklen beobachten und Verantwortlichkeiten benennen.