Én linje i robots.txt skal stoppe AI-træning hos Google, OpenAI og Microsoft

Hvis man ville holde et website ude af AI-træning, har man hidtil måttet skrive en særskilt regel for hver virksomhed og lære navne som GPTBot, ClaudeBot og Google-Extended ét ad gangen. Nu siger Google, OpenAI, Anthropic og Microsoft, at de alle vil læse den samme linje i stedet: et fælles »policy token« i robots.txt, den lille tekstfil, der siden internettets tidlige dage har fortalt søgemaskiner, hvor de ikke skal gå. Når reglen først er skrevet, giver den samme svar til fire af de største AI-udviklere.

Idéen kommer fra Kevin Kelley, der er teknisk ansvarlig for standarder hos Anthropic, og som har sendt forslaget til Internet Engineering Task Force, organisationen, der udarbejder internettets tekniske regler. Det smarte er, at forslaget ikke indfører nogen ny syntaks. Ejeren af et website skriver en almindelig regelgruppe, men linjen User-Agent angiver en anvendelse i stedet for en crawler: __usage_ai-training. Under den betyder »Disallow: /«, at der ikke må trænes på noget indhold her, mens en »Allow«-linje kan afgrænse undtagelser, for eksempel et pressesæt, som en virksomhed gerne vil have, at en model lærer af.

For en blog, en webshop eller et nyhedsmedie er det mest nyttige ved løsningen det, linjen ikke påvirker. Den angiver en præference for, hvordan indhold må bruges, ikke for hvem der må besøge sitet, så søgning fortsat fungerer. Google siger, at hvis et website fravælger træning med det fælles token uden særskilt at nævne Google-Extended, vil selskabet opfatte det som en blokering af Google-Extended. Den omfatter træning af Gemini, men lader siden blive i Google Search. Microsoft giver samme løfte for Bing: Indstillingen ændrer ikke på, om en side kan vises i søgeresultaterne.

Microsoft går et skridt videre end de andre. Ud over træning tilføjer selskabet en separat præference for grounding, som indstilles for hver enkelt side via et meta-tag eller en HTTP-header. Den afgør, om en side må indgå i de svar, som Bing, Copilot og Microsoft 365 genererer her og nu. Et website kan sige nej til træning og stadig tillade grounding, så dets kildehenvisninger og links fortsat kan indgå i AI-svar. Microsoft advarer om, at et nej til grounding vil »reducere« et websites synlighed i disse oplevelser »betydeligt«, og at ingen af valgene garanterer, at indholdet bliver medtaget, skaber trafik eller udløser betaling.

Der gemmer sig en hage i den fil, de fleste websites allerede har. Kelleys udkast gør bevidst den velkendte wildcard-regel »User-agent: *« blind for det nye token. Det betyder, at en robots.txt-fil, som i dag afviser alle bots, slet ikke udtrykker nogen præference for AI-træning. Ejere, der vil fravælge træning, skal tilføje den nye regelgruppe ved navn. Signalet gælder desuden kun fremadrettet: Det, virksomhederne har crawlet, før linjen bliver tilføjet, findes allerede i deres træningsdata, og udkastet forpligter ikke nogen virksomhed til at følge signalet. Det er en anmodning, som fire virksomheder har lovet at respektere – ikke en lås.

Det mest iøjnefaldende fravær er Meta. Kommunikationschefen Andy Stone sagde til The Verge, at et fælles signal, som når flere udbydere på én gang, er »et vigtigt skridt«, men han sagde ikke, om Meta vil følge det. Timingen er besynderlig. Samme dag, som de fire virksomheder offentliggjorde deres støtte, trådte Metas opdaterede forretningsvilkår i kraft. De giver Meta tilladelse til at sende crawlere til websites, der er knyttet til Facebook-, Instagram- og WhatsApp-virksomhedskonti, og til at bruge det indsamlede materiale til at træne selskabets produkter.

Udrulningen sker i forskelligt tempo. Anthropic er allerede begyndt at implementere tokenet, selv om Kelley skrev, at det vil tage tid at få det dækket i alle selskabets tjenester. Microsoft vil følge signalet, når selskabet crawler fra 1. februar 2027, og efter 1. marts vil det ikke længere læse de ældre NoArchive- og NoCache-tags som signaler om træning eller grounding. Google sigter mod at understøtte tokenet i 2027 og lover løbende statusopdateringer, mens OpenAI kun har forpligtet sig til at gøre det inden for de kommende måneder. Forslaget skal stadig behandles af IETF’s arbejdsgruppe om AI Preferences, før det kan blive en formel standard. Google bemærker desuden, at det passer med EU’s adfærdskodeks for AI-modeller til generelle formål, som allerede betragter robots.txt som den primære måde, udgivere kan angive maskinlæsbare præferencer på.

Det bemærkelsesværdige ved øjeblikket er, hvor enkel løsningen er. Efter årevis med retssager og licensstridigheder om, hvem der ejer det åbne web, består det første fælles svar af nogle få tegn i en almindelig tekstfil, som alle kan redigere på et minut. Hvor meget beskyttelse det giver, afhænger af, hvem der tilslutter sig næste gang – og virksomheden med flest erhvervssider på sine platforme har endnu ikke sagt ja.

Tags: kunstig intelligens, OpenAI, Google, Anthropic, microsoft, meta