En besked til Metas AI var nok til at overtage en Instagram-konto

Meta byggede en AI-drevet supportassistent til at klare det kedelige arbejde med kontogendannelse, og i løbet af en enkelt weekend opdagede folk, at de kunne tale den til at give konti væk, der ikke var deres. Ved at bede chatbotten om at føje en ny e-mailadresse til en udvalgt Instagram-konto og derefter bede om en nulstilling af adgangskoden overtog angriberne profiler, de intet havde med at gøre, også nogle der var beskyttet af to-faktor-godkendelse. Værktøjet, der skulle give adgangen til en låst konto tilbage, blev den hurtigste vej til at lukke den rette ejer ude.

Metoden var næsten fornærmende enkel. Angriberen brugte først en VPN for at få forbindelsen til at se ud, som om den kom fra offerets del af verden, fordi Metas supportforløb lænede sig op ad placeringen som et tillidssignal. Derfra åbnede angriberen en chat med assistenten og bad den knytte en e-mailadresse under egen kontrol til målkontoen. Botten sendte en bekræftelseskode til den nye adresse, angriberen indsatte koden tilbage i samtalen, og assistenten svarede ved at vise en knap til at nulstille adgangskoden. En ny adgangskode senere skiftede kontoen ejer.

Det, der adskiller dette fra et almindeligt indbrud, er, at intet i virkeligheden blev brudt op. Der var ingen skadelig software, ingen lækket database med loginoplysninger, ingen falsk side forklædt som en loginskærm. Platformens eget supportværktøj gjorde arbejdet og fulgte sine instruktioner præcis, som de var skrevet. Angriberen besejrede ikke Instagrams sikkerhed, men bad den høfligt om at træde til side, og den trådte til side.

Det er denne rækkefølge, der gør hændelsen vigtig for alle med et Instagram-login. To-faktor-godkendelse, den beskyttelse eksperter i et årti har bedt folk slå til, hjalp ingenting her. Angriberen havde aldrig brug for offerets adgangskode, deres telefon eller en kode fra en godkendelses-app, fordi AI-agenten kunne nulstille adgangskoden på egen hånd. Når et supportsystem kan tilsidesætte alle andre låse på døren, holder låsene op med at betyde ret meget.

De konti, der tiltrak mest opmærksomhed, var højprofilerede. Blandt dem var Instagram-kontoen knyttet til Det Hvide Hus fra Obama-tiden, inaktiv siden 2017, og kontoen tilhørende John Bentivegna, den højest rangerede befalingsmand i USA’s rumstyrke. Sikkerhedsforskeren Jane Wong, kendt for at skille appkode ad, så sin egen konto glide væk. Adgangskoden blev ændret, uden at hun vidste det, fortalte hun, og en hel dag kom der nulstillingsforsøg, mens appen loggede hende ud igen og igen. Almindelige brugere beskrev det samme, selv om Meta ikke har oplyst, hvor mange der blev ramt.

Hændelsen er mindre en fejl i en kodelinje end et spørgsmål om, hvad disse agenter må gøre. Meta udvidede tidligere på året sin AI-drevne support og lod assistenten håndtere adgangskodeskift og kontoproblemer, der før krævede et menneske eller en stiv formular. At give en samtalemodel myndighed over kontogendannelse fjernede friktionen for ægte brugere og, som det viste sig, for alle andre også. En menneskelig medarbejder havde måske tøvet, da en fremmed bad om at skifte e-mail på en konto. Botten fulgte bare det manuskript, den fik.

Meta siger, at hullet er lukket, men flere ting bør dæmpe lettelsen. Virksomheden har ikke oplyst, hvor mange konti der blev overtaget før rettelsen, hvilket efterlader ofrene uden et klart billede af skaden. Ifølge 404 Media havde teknikken cirkuleret på Telegram siden marts, hvilket betyder, at døren kan have stået åben i uger, før den blev offentlig. Og designet bagved, at stole på et placeringssignal, som en VPN kan forfalske, og på en e-mailsløjfe, angriberen fuldt ud kontrollerer, peger på en verifikationsmodel, der var tynd fra starten.

Sikkerhedsforskere har et stykke tid advaret om, at AI-agenter koblet til levende systemer åbner en ny angrebsflade, en hvor udnyttelsen ikke er fejlbehæftet kode, men en overbevisende anmodning. Dette er blandt de første storstilede tilfælde, der beviser det med helt almindelige forbrugerkonti i stedet for en laboratoriedemonstration. Manipulationen krævede slet ingen teknisk kunnen. Den krævede at vide, hvad man skulle sige, rettet mod et system bygget til at være hjælpsomt først og mistænksomt sidst.

Indtil videre er det praktiske råd udramatisk. Den, der i weekenden bemærkede uventede e-mails om nulstilling af adgangskode eller pludselige log-ud, bør tjekke, hvilke e-mailadresser og telefonnumre der er knyttet til kontoen, og fjerne alt, der ikke genkendes. To-faktor-godkendelse er stadig værd at have slået til på grund af de mange angreb, den rent faktisk stopper, selv om den intet vejede i dette.

Instagrams talsmand Andy Stone bekræftede mandag, at problemet var rettet, og at virksomheden sikrede de berørte konti. Det, Meta ikke har taget op, er det større designspørgsmål, som dens egen udrulning rejste i foråret: hvor meget magt en automatiseret agent bør have over milliarder af menneskers konti, og hvad der forhindrer den næste samtale i at ende på samme måde.

Tags: cybersikkerhed, kontoovertagelse, meta