I tre år har AI-debatten handlet om, hvem der bygger den største model. Det mindre glamourøse spørgsmål — hvad det koster at holde modellen svarende millioner af gange om dagen uden at den bryder sammen — er dér, hvor pengene siver ud i dag. llm-d, det open source-inferensprojekt, som Red Hat, IBM, Google Cloud, CoreWeave og Nvidia startede, har nået version 1.0, og det sigter direkte mod den lækage.

Mekanismen fortjener at blive sagt ligeud. En AI-agent stiller ikke ét spørgsmål og går. Den holder lange sessioner åbne, genlæser de samme dokumenter og starter parallelle hjælpere, der rammer hardwaren i uforudsigelige stød. I det mønster kan håndteringen af konteksten koste mere end selve svaret. Ethvert team, der kører modeller i stor skala, siger Shadi Saba, vicedirektør for AI/ML-udvikling hos CoreWeave, støder på ”kontekst, der ofte koster mere at håndtere end selve outputtet”. llm-d’s svar er routing: hver forespørgsel sendes til den server, der allerede har dens kontekst i cachen, i stedet for at beregne den forfra.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Version 1.0 handler mindre om nye tricks end om at gøre de eksisterende sikre at køre i månedsvis. Projektet tilbød allerede cache-bevidst routing, aflastning af KV-cachen og opdeling af prefill- og decode-faserne på forskellige maskiner, oven på modelservere som vLLM og SGLang. Den nye udgave tilføjer prioritets- og retfærdighedsstyring, så latensfølsomme forespørgsler og agenter, der arbejder i stød, kan dele én GPU-flåde uden at udsulte hinanden, en højtilgængelig router til opdateringer uden nedetid, et stabilt v1-konfigurations-API og sessionsbevidst routing, der holder samtaler med flere ture tæt på deres cachede tilstand.

Ydelsestallene i meddelelsen stammer fra bidragydernes egne demonstrationer og bør læses som påstande, ikke revisioner. I én af dem kørte forskere GLM 5.2, en model med åbne vægte og omkring 753 milliarder parametre, på udbredte Nvidia-GPU’er med toppe på over 6,6 millioner output-tokens i minuttet og op til 3.000 samtidige kodeagenter; ved nuværende lejepriser i skyen blev det ifølge dem fem til ti gange billigere pr. token end tilsvarende kommercielle API-priser. IBM Research melder om 11,5 gange lavere inferensomkostninger end en fuldt proprietær opsætning i et chipdesignprojekt til kvantefejlkorrektion, med en cache-hitrate på omkring 98 procent.

Mere sigende er, hvem der allerede læner sig op ad det. JetBrains siger, at llm-d håndterer en betydelig del af trafikken bag Junie Lite, den gratis udgave af firmaets kodeagent; DigitalOcean kører sin serverløse inferens på det, og Mistral og Roblox beskriver, hvordan de bygger deres driftslag på projektet. Google Cloud integrerer 1.0 i Google Kubernetes Engine på tværs af hele sit udvalg af TPU’er og Nvidia-GPU’er, mens AMD bringer det til sine Instinct-acceleratorer.

llm-d blev grundlagt i 2025, styres i dag af Cloud Native Computing Foundation og har mere end 500 bidragydere fra over 25 organisationer. Version 1.0 blev annonceret den 20. oktober 2026 i San José og er tilgængelig nu som open source-software.

Konsekvensen er en magtforskydning. Hvis det dyre ved AI er at drive den frem for at træne den, styrer den, der kontrollerer driftslaget, også regningen. llm-d er et forsøg på at sikre, at det lag forbliver fælles og åbent i stedet for at blive låst inde i én leverandørs API.

Tags: nvidia, AI-agenter, IBM, CoreWeave, Red Hat, store sprogmodeller