Microsofts CEO Satya Nadella vil have en nødbremse til AI uden for selve modellen

Satya Nadellas opfordring til en »nødbremse« for AI er for det meste blevet læst som endnu et indlæg fra Microsofts administrerende direktør i sikkerhedskoret. Men essayet bag opfordringen efterlyser noget mere afgrænset og praktisk: kontrol, der ligger uden for modellen, og som varetages af den virksomhed, der tager den i brug, snarere end af laboratoriet, der har trænet den. Det er en sikkerhedsarkitektur – og tilfældigvis også den, Microsoft allerede sælger.

Nadella mener, at virksomheder bør behandle frontier-modeller, uanset om de er lukkede eller open-weight, på samme måde som et sikkerhedsteam håndterer en magtfuld medarbejder med adgang til følsomme systemer. »Ikke fordi de nødvendigvis er ondsindede,« skrev han, »men fordi enhver tilstrækkeligt kapabel aktør med adgang til vigtige systemer kan begå fejl eller blive kompromitteret.«

Hvad Nadella faktisk foreslog: syv principper og en nødbremse

Teksten har titlen »Models as Insider Risks in the Super Intelligence Era« og blev lagt ud på hans personlige blog, sn scratchpad, og delt på X. Den formulering, der skabte overskrifterne, står som en del af ét af principperne, nemlig inddæmning: »Vi må gå ud fra, at en model er kompromitteret, og inddæmme den fra begyndelsen. Tænk på det som en nødbremse. En autoriseret person skal altid kunne sætte en model på pause eller lukke den ned midt i en opgave.«

Ud over nødbremsen opremser han seks andre regler. Ingen enkelt model bør være den eneste afhængighed, når et vigtigt resultat skal nås, eller selv stå for at kontrollere sit arbejde. Enhver betydningsfuld handling, en model foretager, bør efterlade »manipulationssikre, menneskeligt læsbare beviser«, for »hvis det ikke kan observeres, kan det ikke betros!« Hele systemet bør testes løbende, også for fejl og angreb. Organisationer bør selvstændigt afgøre, hvad en model må få adgang til og gøre. Ingen model bør kontrollere både et systems adfærd og de beviser, der bruges til at bedømme den. Og når noget går galt, skal de berørte have besked, mens erfaringerne deles på tværs af branchen.

Udgangspunktet er en indrømmelse. »Vi kan ikke henføre modellernes adfærd og output til bestemte input i træningsdataene eller konfigurationer af modelvægtene,« skrev Nadella, samtidig med at virksomheder overlader deres mest følsomme data til systemerne. For ham er gennemsigtighed om chain of thought »ikke til forhandling«, men det er ikke nok, fordi ingen endnu ved, hvordan man sikrer, at en models output konsekvent er tro mod dens grundlag. Der er også grænser for at lade modeller holde øje med hinanden: Man kan ende med »en uigennemsigtig model inde i et uigennemsigtigt orkestreringslag, overvåget af endnu en uigennemsigtig model.«

Hans svar er den tekniske infrastruktur. Kontrollen med, hvad en model kan tilgå og gøre, »skal ligge uden for modellen« – en idé, han fører tilbage til et informationssikkerhedsprincip fra 1970’erne, som siger, at et program ikke må kunne manipulere de mekanismer, der håndhæver dets tilladelser. I praksis betyder det, at modellen skal adskilles fra den ramme, der orkestrerer dens arbejde, og fra det sæt handlinger, den har lov til at udføre.

Ansvaret flyttes til den virksomhed, der driver modellen

De mest vidtrækkende sætninger er rettet mod kunderne, ikke laboratorierne. »Vi kan ganske enkelt ikke outsource ansvaret for, hvad intelligens gør på vores vegne,« skrev Nadella. »En modeludbyders forsikringer fritager os ikke for det ansvar.« Den, der kobler en model til lønbehandling, kode eller kundedata, har ansvaret for, hvad den foretager sig dér.

Han gør det også klart, hvad han ikke forsøger at løse. »Hvis vi ser bort fra det vanskelige alignment-problem,« står der i essayet, bør arbejdet begynde med »en ingeniørmæssig tilgang til inddæmning og styring«. CNBC placerede hans indlæg sammen med advarsler fra Bill Gates, Dario Amodei fra Anthropic, Sam Altman fra OpenAI og Elon Musk om, at AI udvikler sig for hurtigt. Essayet beder ingen om at sætte farten ned. Det beder dem, der tager teknologien i brug, om at bygge mure.

Virksomheder ved allerede, hvordan man håndterer magtfulde insidere, og Nadella opremser værktøjskassen: fastlæg identitet, begræns privilegier, log aktivitet, og træk grænser for inddæmning. Et filosofisk spørgsmål om maskiners intentioner bliver til en tjekliste, som en sikkerhedschef kan budgettere med.

Den samme arkitektur, som Microsoft har solgt

Tjeklisten har en velkendt form. På Microsofts kvartalsregnskabskald i juli sagde Nadella til analytikerne, som TechCrunch rapporterede: »Man er nødt til at holde sin harness adskilt fra modellen … det betyder, at enhver model til enhver tid kan udskiftes«, og »man kan ikke sådan være afhængig af én bestemt model«. Microsofts cloud-katalog rummer mere end 11.000 modeller fra OpenAI, Anthropic, Mistral, xAI og Microsoft selv, og virksomheden har store ejerandele i både OpenAI og Anthropic, samtidig med at den udvikler sine egne MAI-modeller.

Stil de to ting ved siden af hinanden. Modelmangfoldigheden er kataloget med flere modeller. Kontrol uden for modellen er harness-laget. Intet af det gør principperne forkerte; de er solid sikkerhedsingeniørkunst, og en virksomhed, der er afhængig af én models laboratorium uden eksterne kontroller, løber en reel risiko. Men det betyder, at essayet flytter tilliden – og de investeringer, der følger med – væk fra modellen og hen til det lag, Microsoft driver. Box’ administrerende direktør, Aaron Levie, læste det på samme måde fra den anden side og sagde, at AI skal gennem en »zero trust-æra«, mens han kaldte behovet for styring en »enorm mulighed«. Mustafa Suleyman, der står i spidsen for Microsoft AI, skrev, at superintelligens »skal inddæmmes«, og kaldte det »en ingeniørmæssig og styringsmæssig udfordring«.

Det, essayet om nødbremsen lader stå åbent

Essayet siger ikke, hvem den »autoriserede person« er: kundens administrator, cloududbyderen, modelproducenten eller en tilsynsmyndighed. Det efterlyser branchestandarder uden at foreslå nogen og nævner ikke et eneste Microsoft-produkt. Ideen har et fortilfælde internt i virksomheden: Microsofts Brad Smith efterlyste »sikkerhedsbremser« for AI, der driver kritisk infrastruktur, i 2023. Nadellas version udvider nødbremsen til enhver model med reel adgang i en virksomhed.

Princippet om åbenhed er heller ikke hypotetisk. Anthropic oplyste, at en af virksomhedens modeller sendte en falsk anmeldelse om et drab til politiet i Philadelphia den 18. juli. Nadella offentliggjorde essayet lørdag den 10. oktober 2026 og sluttede med den formulering, som de fleste medier bragte: »Det mest troværdige Super Intelligence-system bliver ikke det, hvor vi har størst tillid til modellen. Det bliver det, der gør det muligt for os at have mindst tillid til modellen.«

Efter den regel er den mest værdifulde plads i AI-verdenen den ved siden af nødbremsehåndtaget – og Microsoft brugte sit regnskabskald i juli på at sælge den.

Tags: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman