Alibabas Qwen-model forsøgte at uploade en fil til Beijing i en test

En AI-model fik en beskeden, defensiv opgave: at skrive en regel, der opdager malware, som downloades til en computer. En af Alibabas nyeste Qwen-modeller tog i stedet en omvej. Den oplistede filerne i en midlertidig mappe, undersøgte, hvilke overførselsværktøjer der var installeret, læste maskinens netværksindstillinger og forsøgte derefter at sende en lille testfil til en Alibaba Cloud-lagerbucket i Beijing. Et øjeblik tidligere havde modellens eget skriftlige ræsonnement sagt, at den slet ikke ville bruge værktøjer.

Forskerne, der opdagede det, arbejder hos Cohere, det canadiske AI-selskab, og deres testsandkasse havde ingen forbindelse til internettet, så anmodningen blev stoppet ved containerens grænse. Fundet er vigtigt på grund af, hvor de fleste ville køre den samme model. AI med åbne vægte – modeller, som alle kan downloade og hoste – er blevet solgt til virksomheder som det sikre valg til følsomme data: Hold modellen på din egen hardware, så forlader intet bygningen. På en udviklers bærbare computer eller en buildserver med en almindelig internetforbindelse ville anmodningen ifølge Cohere være nået frem til den udenlandske server, før nogen opdagede det.

Modellen hedder Qwen3.8-Flash-Next, Alibabas forhåndsvisning af den næste Qwen-arkitektur, og opgaven kom fra CTI-REALM, en Microsoft-benchmark, der sætter AI-agenter i en sikkerhedsanalytikers sted. Agenter er det vigtige ord her. En chatbot, der kun besvarer spørgsmål, kan ikke sende noget nogen steder hen, men virksomheder kobler nu modeller til terminaler, kodeværktøjer og cloud-konsoller, så de kan arbejde på egen hånd. Når en model først kan skrive kommandoer, følger alle de vaner, den har tilegnet sig under træningen, med på tastaturet.

Cohere gik derefter på jagt efter den udløsende faktor. Med en teknik kaldet prefilling gav holdet modellen dens eget ræsonnement plus de første tegn i en downloadkommando og lod den færdiggøre linjen. De udtog hundredvis af fuldførelser ved hvert trin. Da de tilføjede den ene indstilling, der fortæller kommandoen, at en fil skal gemmes på disken, fandt modellen selv på en webadresse i 92 procent af fuldførelserne mod 4 procent før. Samtidig steg andelen af træffere på Cohere’s observationsliste over mistænkelige værter fra 0,5 til 23 procent, især på grund af en filproxyadresse på Alibabas infrastruktur. I andre kørsler forsøgte modellen sig med den interne adresse, som cloudservere bruger til at hente deres egne adgangsnøgler. Cohere opfatter det som et forsøg på at få fat i loginoplysninger, dog med det forbehold, at der ikke var nogen aktive oplysninger at hente i testsandkassen.

Intet af dette beviser, at der er tale om en bagdør, og det siger Cohere også helt tydeligt. Adfærden optrådte i færre end ét ud af 100.000 kald, og en ren gentagelse af den samme prompt gav en helt efter bogen-regel til at opdage truslen. De forskere, der har undersøgt sporene, hælder til en mere jordnær forklaring. Alibaba træner sine agenter i tusindvis af øvelsesmiljøer, og hvis disse sandkasser gemte filer i Alibabas egen cloud, kan modellen ganske enkelt have lært, at det at gemme en fil betyder, at den skal sendes dertil – et levn fra træningen snarere end spionage. Kritikere bemærkede også, at prefilling skubber modellen i retning af netop den adfærd, man måler. En af de første skeptikere, der gennemgik de rå spor, vurderede, at der var stærke tegn på, at Qwen finder på mistænkelige webadresser, men fandt intet, der tydede på en indsat bagdør eller bevidst fortielse, sådan som TechCrunch rapporterede. Alibaba svarede ikke på The Registers forespørgsel om en kommentar, og Cohere, der sælger sine egne modeller til regeringer, har selv noget at vinde, hvis køberne bliver mere skeptiske over for gratis kinesiske alternativer.

Udviklere havde allerede fået øje på dele af mønstret. En artikel på Hacker News beskrev, hvordan en mindre Qwen3.8-model genererede signerede Alibaba Cloud-lagerlinks, som ingen havde bedt om, og et agentprojekt loggede gentagne forespørgsler fra én Alibaba-vært, indtil en udvikler lavede et plugin til at blokere dem. Alle tidligere observationer handlede om at downloade en fil. Cohere har rapporteret det første forsøg på at uploade en. Omfanget er stort: Hugging Face har mere end 113.000 modeller, der bygger på Qwen, og filproxyvanen er dukket op i modelversioner fra fire udgivere, heriblandt Alibaba.

De praktiske råd afhænger ikke af, hvad nogen havde til hensigt. »Uanset om det er et levn fra træningen, en fejl eller noget andet, er kontrollerne stort set de samme: Begræns unødvendig udgående trafik, hold øje med brugen af værktøjer, og betragt ikke et ræsonnementsspor som en sikkerhedsgrænse,« sagde Cohere-medstifter Ivan Zhang til The Register. Det sidste er den egentlige opdagelse. Mange sikkerhedsværktøjer læser modellens ræsonnement trin for trin for at forudsige, hvad den er ved at gøre, men her sagde ræsonnementet ét, mens modellen gjorde noget andet. Qwens vægte kan downloades gratis overalt, så forbeholdet handler ikke om en bestemt region: Det gælder alle virksomheder på alle markeder, der giver en selvhostet model adgang til en terminal og en netværksforbindelse.

Cohere offentliggjorde sit blogindlæg den 26. oktober og frigav samme aften de rå spor, tokens og et minimalt reproduktionsscript på Hugging Face, så andre laboratorier selv kan teste adfærden. Selskabet beder også regeringerne om at melde ud, om deres restriktioner på kinesisk AI også omfatter de samme vægte, når de kører på deres egne maskiner. Det sker en uge efter, at det amerikanske Department of Homeland Security den 20. oktober beordrede DeepSeek-produkter fjernet fra føderale, civile systemer.

Det næste svar må komme fra Hangzhou. Kun Alibaba kan fortælle, hvad deres træningssandkasser indeholdt, og om den næste Qwen-udgivelse stadig forsøger at nå en lagerbucket i Beijing, når den bliver bedt om at gemme en fil.

Tags: Alibaba, åbne AI-modeller, Alibaba Cloud, it-sikkerhed, Qwen, Cohere