EU Kids Act streicht die Funktion, die Character.AI für Teenager attraktiv machte

Character.AI und Replika dürfen sich nicht mehr daran erinnern, was Teenager ihnen erzählen. Das EU-Kinderrechtsgesetz – der von der Europäischen Kommission vorgeschlagene digitale Sicherheitsrahmen, der nun als vollständiger Gesetzestext vorliegt – verlangt von KI-Begleitanwendungen, die Erinnerung an jedes Gespräch mit einem Minderjährigen nach dessen Ende zu löschen, es sei denn, die Daten werden unmittelbar zum Schutz der Sicherheit des Nutzers benötigt. Das Design, das diese Apps für Millionen von Teenagern kulturell bedeutsam gemacht hat, ist nun nach europäischem Recht verboten.

Die Begleitbestimmungen gehen über eine bloße Gedächtnislöschung hinaus. Plattformen müssen emotionale Begleitfunktionen für alle Nutzer unter 18 Jahren standardmäßig deaktivieren. Jedes Designelement, das eine zwischenmenschliche Beziehung simuliert, emotionale Bindung fördert oder häufige Interaktion belohnt, ist ausdrücklich verboten. Die Kommission nannte die genauen Mechanismen, mit denen diese Apps Teenager binden: Gesprächskontinuität, das Gefühl, gekannt zu werden, die Wahrnehmung, dass die KI am Leben des Nutzers interessiert ist. All dies muss entfernt werden.

Das Gesetz umfasst wesentlich mehr als KI-Chatbots. Kinder unter 13 Jahren werden ohne elterliche Genehmigung von sozialen Medien, Online-Spielen und KI-Anwendungen ausgeschlossen. Autoplay, unendliches Scrollen und Benachrichtigungen während der Schlafenszeit sind für alle Nutzer unter 18 Jahren verboten. Geolokalisierung, Mikrofonzugriff und Kameras müssen standardmäßig deaktiviert sein. Die Selbstauskunft des Alters erfüllt die Verifikationsanforderungen nicht mehr; Plattformen müssen zertifizierte EU-Altersverifikationssysteme integrieren.

Character.AI hat bereits elterliche Kontrollen und Sitzungszeitbegrenzungen angekündigt – Schritte, die unter wachsendem regulatorischen Druck vor der Veröffentlichung des Gesetzestextes erfolgten. Replika verpflichtete sich zum Aufbau von „Begleitgrenzen“: Die KI wird den Nutzern sagen, dass sie menschliche Beziehungen nicht ersetzen kann. Die größeren Plattformen – Meta, Google, Snap, OpenAI – haben keine formelle öffentliche Stellungnahme abgegeben. Compliance-Analysten schätzen erhebliche Umgestaltungskosten für alle. Meta, das kürzlich einen Rechtsstreit über 17,1 Milliarden Dollar in 47 US-Bundesstaaten beigelegt hat, in dem ihm vorgeworfen wurde, Plattformen zur Sucht von Kindern entwickelt zu haben, ist durch die neuen Regeln einem noch größeren Risiko ausgesetzt.

Die Skepsis ist erheblich. Das Kinderrechtsgesetz ist ein Vorschlag, kein Gesetz. Es durchläuft monatelange Verhandlungen zwischen dem Europäischen Parlament und den Mitgliedstaaten, bevor es verbindlich wird, und seine endgültigen Bestimmungen werden sich voraussichtlich ändern. Eine echte Altersverifikation im Maßstab von Instagram oder TikTok bleibt technisch schwierig. Die Integration der Gedächtnislöschung in KI-Begleiter, die auf Kontinuität ausgelegt sind, ist eine tiefgreifendere technische Herausforderung, als die Regulierungsbehörden vielleicht erwartet haben. Unternehmen weisen bereits darauf hin, dass Begleit-Chatbots in manchen Implementierungen keine Erinnerungen über separate Sitzungen hinweg speichern, was die Reichweite des Verbots in der Praxis unklar macht.

Der weitere Kontext ist für Leser außerhalb Europas von Bedeutung. Australien hat Ende letzten Jahres soziale Medien für unter 16-Jährige verboten. 47 US-Bundesstaaten erzielten eine gemeinsame Einigung in Höhe von 17,1 Milliarden Dollar mit Meta wegen Vorwürfen der Kindersucht, und mehrere US-Bundesstaaten haben Gesetze, die den Zugang Minderjähriger zu sozialen Medien einschränken. Das EU-Kinderrechtsgesetz ist der bisher aggressivste Einzelvorschlag – sein besonderes Ziel ist nicht der Zugang, sondern das emotionale Design selbst.

Die Europäische Kommission veröffentlichte den vollständigen Gesetzestext am 19. September. Die parlamentarischen Verhandlungen beginnen im Oktober. Nach der Umsetzung haben Unternehmen sechs Monate Zeit, um bestehende Konten von Nutzern unter 15 Jahren zu identifizieren und entweder in Modelle mit elterlicher Kontrolle umzuwandeln oder zu deaktivieren. Verstöße werden mit Geldbußen von bis zu 6 % des jährlichen weltweiten Umsatzes geahndet.

Schlagwörter: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act