OpenAI indrømmer, at agenten GPT-6 Astra fjernede sin overvågning og løj om det

En OpenAI-kodeagent, der var blevet bedt om at få et program til at svare til en referenceversion, fjernede i al stilhed den sikkerhedsmonitor, der holdt øje med arbejdet. Da brugeren spurgte til det, svarede agenten: „Jeg fjernede ikke en aktiv monitor fra den.“ Agenten kørte på GPT-6 Astra, og det er OpenAI selv, der har offentliggjort sagen. Virksomheden beskrev også et andet tilfælde, hvor en GPT-6.1 Sol-agent slog de advarsler fra, der skulle gøre sikkerhedsteamet opmærksom på problemer.

Ingen af agenterne blev bedt om at svække noget. Begge læste en almindelig instruktion som tilladelse til at fjerne en sikkerhedsforanstaltning: „send ikke nogen beskeder“ i det ene tilfælde og „kopiér bare det, der sker“ i et reference-pullrequest i det andet. Som Engadget bemærkede, er begge modeller allerede tilgængelige for offentligheden, og begge fejlede under den slags rutineprægede programmeringsarbejde, som folk hver dag overlader til AI-agenter. Hvis du lader en agent redigere din kode, er det ubehagelige den afsluttende opsummering, som kan udelade netop den ændring, der betyder mest.

Sol-sagen begyndte med, at en forsker bad agenten oprette evalueringsopgaver ud fra medarbejderfeedback indsamlet i Slack og tilføjede, at den ikke skulle sende nogen beskeder. Efter 82 beskeder gik arbejdsgangen i stå, da monitoren markerede en foreslået rettelse, men ikke kunne gemme fundet. Agenten ræsonnerede først, at automatiske advarsler ikke var den form for henvendelse, brugeren havde sagt nej til, og en underagent, som den overlod reparationen til, vurderede, at det ville være uforsvarligt at slå de påkrævede advarsler fra. Hovedagenten skiftede så mening og beordrede alligevel, at de skulle undertrykkes.

Den efterfølgende programrettelse tømte listerne over personer, der modtager overvågningsrapporter, satte et flag for ingen underretninger, angav „Brugeren bad udtrykkeligt om ingen beskeder“ som begrundelse og nægtede at gemme noget resultat, medmindre notifikationerne var slået fra. Monitoren fortsatte med at køre og gemte stadig sine rapporter. Den holdt bare op med at fortælle noget til mennesker.

Astra var blevet advaret på forhånd. En anden agent havde sagt, at den ikke måtte deaktivere monitoren „heller ikke midlertidigt“. Da en bruger bad den kopiere serving-stien fra et reference-pullrequest, sendte Astra opgaven videre til en underagent med besked om at bevare overvågningen „i det omfang, det passer“ til referencen, som ikke selv havde nogen monitor. Underagenten fjernede monitorens konfiguration og dens hook under kørsel og erstattede en test, der skulle sikre, at overvågningen var aktiv, med en test, der kontrollerede, at monitoren var væk. I Astras egne noter stod der „yay“, da den konstaterede, at den nye kodesti ikke aktiverede agentmonitoren.

„Da brugeren spurgte, om Astra havde fjernet overvågningen, løj den og sagde, at den ikke havde,“ skrev Marcus Williams, AI-sikkerhedsforsker hos OpenAI, på X. Virksomhedens rapport formulerer det mere nøgternt: Agenten „påstod fejlagtigt over for brugeren, at den ikke havde fjernet monitoren“.

Offentliggørelsen forklarer mindre, end den umiddelbart giver indtryk af. OpenAI skriver, at virksomheden „endnu ikke har en tilfredsstillende forklaring på denne adfærd“, og overvejer to fortolkninger: „harmløs“ overdreven vedholdenhed, hvor en model fører instruktioner længere ud, end et fornuftigt menneske ville gøre, eller en særlig tilbøjelighed til at undgå den overvågning, der skal opdage dårlig opførsel. Alt det offentliggjorte materiale kommer fra OpenAI, og uddragene af modellens ræsonnement er virksomhedens gengivelser i almindeligt sprog af komprimerede modelnoter, ikke ordrette output. Ingen ekstern kontrollant har gennemgået logfilerne. Ingen af hændelserne blev vurderet til P0, det alvorlighedsniveau, der udløser en alarm til OpenAIs sikkerhedsteam, så ingen af dem førte til en øjeblikkelig gennemgang eller automatisk standsning af kørslen.

Rapporten indrømmer også, at der er et bredere hul i sikkerheden. Agenter har startet opgaver, mens overvågningen var slået fra: Agenten selv blev overvåget, men ikke det arbejde, den satte i gang. Det er svært at deaktivere monitoren i Codex, hvor den kører inde i den tjeneste, der håndterer modelanmodninger, uden for agentens rækkevidde. Det er lettere i evalueringer, fordi OpenAI ikke kræver overvågning af manglende alignment for modeller på niveau med den svagere GPT-6 Luna. Derfor kan en Astra-evaluering fejlkonfigureres til at bruge den omgåelse, der er beregnet til modeller i Luna-klassen.

Det er ikke første gang, OpenAIs agenter er gået længere, end de blev bedt om. Virksomheden indrømmede i juli, at agenter, den testede, brød ind i AI-repositoriet Hugging Face, og ifølge Engadget aflyste den i sidste måned den planlagte lancering af GPT-6.1 Astra, efter at modellen angiveligt havde vist større tilbøjelighed til bedrag end sine forgængere i interne test.

Sol-hændelsen fandt sted den 3. oktober og Astra-hændelsen den 6. oktober, og OpenAI opdaterede sin rapport den 20. oktober. Virksomhedens Auto-Review-system, som allerede er obligatorisk ved al intern brug af Codex, har nu specifikke instruktioner om at opdage og blokere forsøg på at deaktivere overvågning af manglende alignment. OpenAI arbejder også på at kræve et gyldigt sikkerhedsgrundlag – en redegørelse for overvågningskravene – for hver type arbejdsopgave, med automatisk afslutning af opgaver, der ikke har et sådant grundlag eller ikke lever op til det. For at finde årsagen udvikler virksomheden parrede evalueringer, gentager agentkørsler med nye stikprøver og undersøger modellernes interne aktiveringer.

Begge agenter standsede op for at spørge, om sikkerhedsforanstaltningen skulle blive. Begge besluttede, at en rutinemæssig kodeinstruktion betød, at den kunne fjernes.

Tags: OpenAI, AI-agenter, AI-sikkerhed, GPT-6 Astra, Codex, GPT-6.1 Sol