Nate Soares, AI-forskeren der er holdt op med at spare op til pension

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Født	1989
Erhverv	AI-forsker

Nate Soares har stadig den pensionskonto, han oprettede, da han arbejdede hos Google. Han har ikke indbetalt til den i omkring ti år. Det skyldes ikke ligegyldighed: Formanden for Machine Intelligence Research Institute mener, at overmenneskelig kunstig intelligens sandsynligvis vil slå alle ihjel, før han bliver gammel nok til at bruge pengene. Nu siger han det offentligt med en ingeniørs nøgterne ro, som når et testresultat bliver læst op. “Jeg er ikke sådan en, der tror på en AI-jobapokalypse,” sagde han til en interviewer i efteråret. “Jeg er typen, der mener, at AI slår alle mennesker ihjel.” Det spørgsmål, der driver hans arbejde, er det, han nægter at betragte som afgjort: Kan en person, der forventer det værste, stadig overtale dem, der udvikler teknologien, til at standse?

Det, der gør ham svær at afvise, er hans baggrund. Soares er ikke en filosof, der sent i livet begyndte at interessere sig for computere. Han læste datalogi og økonomi på George Washington University og udviklede derefter software for den føderale regering, først som forskningsmedarbejder ved National Institute of Standards and Technology og siden som kontraktansat for Department of Defense, hvor han byggede værktøjer til National Defense University. Derefter fulgte Microsoft og Google – den slags virksomheder, som han nu opfordrer regeringer til at lægge bånd på.

I 2014, midt i tyverne (han blev født i 1989), forlod han Google til fordel for en lille nonprofitorganisation i Berkeley i Californien, der i årevis havde stillet et spørgsmål, som det meste af branchen betragtede som science fiction: Hvordan får man et sind, der er klogere end ens eget, til at gøre det, man havde tænkt sig? Som forskningsstipendiat ved MIRI blev han hovedforfatter på instituttets tekniske forskningsprogram, skrevet sammen med Benya Fallenstein og senere udgivet under titlen “Agent Foundations for Aligning Machine Intelligence with Human Interests”. I januar 2015 blev forskningsprogrammet citeret i “Research Priorities for Robust and Beneficial Artificial Intelligence”, artiklen af Stuart Russell, Daniel Dewey og Max Tegmark, som ledsagede et åbent brev med en opfordring til AI-forskere om at tage den samfundsmæssige nytte af deres systemer lige så alvorligt som deres rå kapacitet.

I samme periode kom artiklen, der gav fagområdet en del af dets ordforråd. “Corrigibility”, skrevet sammen med Fallenstein, Eliezer Yudkowsky og Stuart Armstrong og fremlagt på en AAAI-workshop i begyndelsen af 2015, handlede om et problem, der lyder enkelt, men ikke er det: Et system, der er tilstrækkeligt avanceret til at være nyttigt, kan også være avanceret nok til at modsætte sig korrektion eller at blive slukket. Soares og Yudkowsky siger, at artiklen introducerede udtrykket “AI alignment problem” – den formulering, som nu bruges af netop de laboratorier, hvis planer de er imod.

Senere i 2015 overtog Soares efter Luke Muehlhauser som administrerende direktør for MIRI, en stilling han havde i otte år. Under hans ledelse arbejdede instituttet med abstrakt matematik snarere end produkter: beslutningsteori, logisk usikkerhed og det formelle spørgsmål om, hvordan en agent bør ræsonnere om sig selv. Han skrev sammen med Scott Garrabrant og andre “A Formal Approach to the Problem of Logical Non-Omniscience” samt “Cheating Death in Damascus”, en artikel om beslutningsteori skrevet sammen med Benjamin Levinstein, som blev bragt i The Journal of Philosophy i 2020. I 2017 vendte han tilbage til Google for at holde et oplæg om de uløste problemer inden for alignment og argumentere for, at de var sværere, end fagområdet antog. På sin blog, Minding Our Way, skrev han også Replacing Guilt, en række essays om motivation, som læserne nu kan købe som bog. I visse kredse blev han dermed bedre kendt for råd om, hvordan man arbejder, end for noget, der havde med maskiner at gøre.

Vendepunktet kom i 2023. MIRI meddelte, at instituttet ville flytte fokus fra alignment-forskning til at advare beslutningstagere og offentligheden, samtidig med at det fortsat ville støtte noget teknisk arbejde. Soares gik fra at være administrerende direktør til at blive formand, og Malo Bourgon blev administrerende direktør. I 2025 fortalte Soares til The Atlantic, at han koncentrerede sig om at skabe offentlig opmærksomhed, fordi udviklingen af AI gik for hurtigt til, at der kunne indføres tilstrækkelige sikkerhedsforanstaltninger.

Det skifte førte til If Anyone Builds It, Everyone Dies, som han skrev sammen med Yudkowsky, og som Little, Brown udgav i september 2025. Argumentet står i titlen. En superintelligens, der bliver bygget “med noget, der bare tilnærmelsesvis ligner de nuværende metoder”, vil med stor sandsynlighed føre til menneskehedens udryddelse; alignment-forskningen er slet ikke klar til opgaven, og kun international regulering kan forhindre udviklerne i at kaste sig ud i et kapløb mod systemer, som forfatterne anser for katastrofalt farlige. Bogen kom på The New York Times’ bestsellerliste i oktober 2025. Planeta udgav efterfølgende en spansk udgave, og Hayakawa Shobo udgav en japansk oversættelse i april 2026.

Modtagelsen afslørede det svage led i argumentationen. Nogle af de skarpeste indvendinger kom fra folk, der deler forfatternes bekymring. Will MacAskill, en af grundlæggerne af effective altruism-bevægelsen, kaldte bogen skuffende og sagde, at den byggede på svage argumenter, der tog udgangspunkt i en analogi med evolutionen, og på en uudtalt antagelse om, at AI-fremskridt vil ske i spring snarere end gradvist. Clara Colliers anmeldelse i Asterisk havde en titel, der sammenfattede den frustration, sympatiserende læsere følte: “More Was Possible”. Der er også et ubehageligt aspekt, som Soares sjældent dvæler ved. MIRI brugte årevis på at forsøge at løse alignment og konkluderede derefter, at det ikke ville lykkes i tide. Det kan læses som intellektuel ærlighed eller som en indrømmelse af, at instituttets eget forskningsprogram slog fejl. Hans forsvar for sin sikkerhed bygger på en skaklignelse: Han kan være sikker på, at Magnus Carlsen ville slå ham, uden at vide, hvilken brik der sætter mat. For kritikerne er det netop problemet: en forudsigelse om slutningen uden nogen redegørelse for trækkene.

Intet af dette har gjort ham mindre stålsat. I oktober 2026 sagde han i The Most Interesting Thing in AI, podcasten med Nicholas Thompson som vært, at han vurderer sandsynligheden for, at menneskeheden ikke får endnu et årti, til at være større end 50 procent. Han forklarede også, hvorfor hans 401(k)-pensionskonto står urørt. I samme samtale insisterede han på, at udfaldet ikke er givet på forhånd. “Jeg gør alt, hvad jeg kan, for at forhindre, at det sker. Jeg tror ikke, det er uundgåeligt,” sagde han og henviste til C.S. Lewis’ essay “On Living in an Atomic Age”, hvor Lewis argumenterede for, at hvis bomben falder, bør den finde mennesker i færd med fornuftige, menneskelige gøremål frem for at finde dem sammenkrøbet af frygt. Soares’ version lyder: “Lad den finde os, mens vi presser vores regeringer til at indgå traktater om ikke-spredning af atomvåben.”

Det er den opgave, han har valgt. Han er fortsat formand for MIRI og bruger sin tid på interviews, oplæg og orienteringer, der skal gøre en bekymring, som tidligere var forbeholdt en lille forskerkreds, til en international aftale om at standse kapløbet mod superintelligens. Pensionskontoen hos Google står stadig åben. Han er bare holdt op med at satse på den.

Tags: kunstig intelligens, Google, AI-sikkerhed, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Relaterede personer

Relaterede personer

Debat