Teknologi

Anthropic aktiverer sine sikkerhedsregler mod AI, der forbedrer sig selv

Adrian Kessler
Tilføj os på Google

Anthropic har formelt konkluderet, at kunstig intelligens nu fremskynder sin egen forskning så meget, at den krydser en grænse, selskabet selv har fastsat. I sit ændrede IPO-prospekt skriver Claude-udvikleren, at selskabet har nået tærsklen for AI-forsknings- og udviklingskapacitet i sin Responsible Scaling Policy, det interne regelsæt, der afgør, hvor meget sikkerhed og kontrol selskabets modeller kræver. Politikken beskriver tærsklen som begyndelsen på rekursiv selvforbedring – det punkt, hvor AI-systemer begynder at sætte fart på arbejdet med at udvikle bedre AI.

Det usædvanlige ved vurderingen er, hvad den ikke bygger på. Anthropic skriver, at konklusionen er nået »på baggrund af, hvad vi forventer af fremtidige modeller og vores samlede fremskridtstakt snarere end af, hvad vi har observeret med de nuværende modeller«. Ingen af de Claude-modeller, der er til salg, har vist sig at overskride grænsen. Selskabet handler ud fra sin egen prognose og fortæller investorerne om det, inden aktien begynder at blive handlet.

De fremlagte belæg er interne. Prospektet oplyser, at Claude stod for mere end 90 procent af bidragene til Anthropics kodebase i løbet af en nylig måned, og at mængden af kode, hver ingeniør bidrager med om dagen, er vokset mere end 45 gange. Anthropic tilføjer, at modellerne »skriver en stor og voksende del af vores kode og i stigende grad udfører vores forskning, herunder vores sikkerhedsforskning«.

Politikken opstiller to måder at overskride tærsklen på. Den ene er en model, der til en konkurrencedygtig pris fuldt ud kan erstatte hele Anthropics stab af forskere og ingeniører. Den anden er en »dramatisk acceleration« af AI-fremskridt, som politikken definerer som omtrent to års fremskridt samlet på ét år, muligvis drevet af automatiseret forskning. Fordi den anden test også gælder, hvis selskabet kan »observere eller forvente« et sådant spring, er en prognose nok til at udløse den.

At krydse grænsen forpligter Anthropic til et mere omfattende sæt sikkerhedsforanstaltninger. Politikken kræver »moonshot«-sikkerhedsprojekter rettet mod verdens bedst udrustede angribere og en tilstand, hvor »alt er under opsyn«: Alle kritiske aktiviteter inden for AI-udvikling skal logges og analyseres af AI for at finde trusler, også fra insidere, hvad enten de er mennesker eller maskiner. Selskabets interne red team skal desuden finde flere jailbreaks end alle de eksterne forskere i selskabets bug bounty-programmer tilsammen. Prospektet oplyser, at selskabet allerede har udskudt fortræningen af en ny frontier-model med mere end en måned for at styrke beskyttelsen mod tyveri af modellens vægte, og at det overvejer regler, som kræver menneskelig godkendelse af visse forskningsbeslutninger, efterhånden som Claude udfører mere af arbejdet.

For folk, der bruger Claude på arbejdet eller Claude Code, kan den praktiske konsekvens blive langsommere udgivelser. I stifterbrevet, der blev offentliggjort sammen med IPO-materialet, står der, at Anthropic til tider kan vælge »at gå langsommere frem, end vi kunne, for at gøre vores systemer sikrere, selv hvis det stiller os ringere i konkurrencen«. Der sker ingen ændringer i appsene i dag.

Vurderingen er Anthropics egen bedømmelse efter en frivillig politik, som selskabet selv har udarbejdet og kan revidere, og ingen ekstern revisor har bekræftet den. Politikken erkender, at tærsklen »har vist sig vanskelig at omsætte til praksis«, og prospektet medgiver, at en stor del af belæggene bygger på forsinkede indikatorer, så en reel acceleration måske først opdages, efter at den er sket. Risikoplysninger i et prospekt er også formuleret for at beskytte et selskab mod fremtidige retssager, og en tidligere version af det samme dokument sagde ifølge Gizmodo kun, at Anthropic »snart muligvis vil opfylde« kriterierne.

Anthropic siger, at selskabet stadig vurderer de underliggende data og vil offentliggøre flere rapporter om, hvad det vil sige at have nået tærsklen. Aktien forventes prissat den 18. november og at begynde handlen på Nasdaq under tickeren ANT den 19. november, med et foreslået prisinterval på 70 til 78 dollar pr. aktie. Indtil videre er Anthropics egen prognose det eneste belæg for, at grænsen er overskredet.

Tags: , , , , ,

Tilføj os på Google

Debat

Der er 0 kommentarer.