EU Kids Act fjerner den funktion, der fik Character.AI til at virke for teenagere

Character.AI og Replika må ikke længere huske, hvad teenagere fortæller dem. EU’s børneakt — Europa-Kommissionens foreslåede digitale sikkerhedsforordning, som nu er offentliggjort som en fuld lovtekst — kræver, at AI-følgesvende applikationer sletter hukommelsen af enhver samtale med en mindreårig, når samtalen er slut, medmindre dataene er direkte nødvendige for at beskytte brugerens sikkerhed. Det design, der gjorde disse apps kulturelt betydningsfulde for millioner af teenagere, er nu forbudt under europæisk lov.

Følgesvende bestemmelser går længere end blot at slette hukommelsen. Platformene skal som udgangspunkt deaktivere følelsesmæssige følgesvende funktioner for alle brugere under 18 år. Ethvert designelement, der simulerer en mellemmenneskelig relation, fremmer følelsesmæssig tilknytning eller belønner hyppig interaktion, er eksplicit forbudt. Kommissionen har navngivet de præcise mekanismer, som disse apps bruger til at fastholde teenagere: samtalens kontinuitet, oplevelsen af at blive genkendt, fornemmelsen af, at AI’en er investeret i brugerens liv. Alt sammen skal fjernes.

Loven dækker væsentligt mere end AI-chatbots. Børn under 13 år er blokeret fra sociale medieplatforme, onlinespil og AI-applikationer uden forældrenes tilladelse. Autoplay, uendeligt scroll og engagement-notifikationer i soveperioden er forbudt for alle brugere under 18 år. Geolokalisering, mikrofonadgang og kameraer skal som udgangspunkt være slået fra. Selverklæring af alder opfylder ikke længere verifikationskravene; platformene skal integrere certificerede EU-aldersverifikationssystemer.

Character.AI har allerede annonceret forældrekontrol og tidsbegrænsninger for sessioner, skridt taget under stigende regulatorisk pres, før lovens formelle tekst blev offentliggjort. Replika har forpligtet sig til at bygge “følgesvende grænser”: AI’en skal fortælle brugerne, at den ikke kan erstatte menneskelige relationer. De større platforme — Meta, Google, Snap, OpenAI — har ikke afgivet nogen formel offentlig erklæring. Compliance-analytikere vurderer, at alle de nævnte vil få betydelige omkostninger til omdesign. Meta, som for nylig indgik et forlig på 17,1 milliarder dollars i en retssag på tværs af 47 amerikanske stater om beskyldninger om at have designet platforme til at gøre børn afhængige, står over for en forværret eksponering under de nye regler.

Skepsissen er berettiget. Børneakten er et forslag, ikke en lov. Den går ind i måneders forhandlinger mellem Europa-Parlamentet og medlemslandene, før den bliver bindende, og dens endelige bestemmelser vil sandsynligvis ændre sig. Ægte aldersverifikation i den skala, som Instagram eller TikTok opererer med, er stadig teknisk svært. At bygge hukommelsessletning ind i AI-følgesvende, der er arkitekteret omkring kontinuitet, er en større ingeniørmæssig udfordring, end reguleringsmyndighederne måske havde forudset. Virksomheder bemærker allerede, at følgesvende chatbots ikke gemmer hukommelse på tværs af separate sessioner i alle implementeringer, hvilket gør forbuddets rækkevidde uklar i praksis.

Den bredere kontekst er vigtig for læsere uden for Europa. Australien forbød sociale medier for børn under 16 år sidste år. 47 amerikanske stater nåede frem til et samlet forlig på 17,1 milliarder dollars med Meta om beskyldninger om børneafhængighed, og flere amerikanske stater har love, der begrænser mindreåriges adgang til sociale medier. EU’s børneakt er det mest aggressive enkeltforslag hidtil — dens særlige mål er ikke adgang, men selve det følelsesmæssige design.

Europa-Kommissionen offentliggjorde den fulde lovtekst den 19. september. Parlamentariske forhandlinger begynder i oktober. Når den er implementeret, vil virksomheder have seks måneder til at identificere eksisterende konti, der tilhører brugere under 15 år, og enten konvertere dem til forældrekontrolmodeller eller deaktivere dem. Overtrædelser medfører bøder på op til 6 % af den årlige globale omsætning.

Tags: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act