Teknologi

Mistral Large 4 er gratis, men skal bruge en Mac til 22.299 dollar

Adrian Kessler
Tilføj os på Google

Mistral har offentliggjort de fulde modelvægte til Mistral Large 4, som virksomheden har døbt Le Chonk. Det betyder, at alle kan downloade modellen, ændre den og køre den på deres egen hardware. Det franske AI-laboratorium siger, at den nu er den stærkeste åbne model til programmering og defensivt sikkerhedsarbejde, for eksempel når man genskaber en softwarefejl og derefter retter den. For dem, der håber at køre den derhjemme, er størrelsen dog en udfordring.

Le Chonk har omkring en billion parametre, hvoraf 49 milliarder er aktive for hvert ord, den producerer. Selv de mest komprimerede versioner – 2-bit-udgaver lavet af holdene bag llama.cpp og Unsloth – kræver én Apple Silicon Ultra-maskine med 512 GB samlet hukommelse, ifølge Hugging Face. Den eneste Mac, Apple sælger med så meget hukommelse, er en Mac Studio med M5 Ultra-chippen, og 9to5Mac skriver, at den koster 22.299 dollar i USA i den konfiguration. Alle andre måder at køre modellen på kræver, at flere avancerede grafikkort arbejder sammen.

Mistrals argument for modellen handler først og fremmest om programmering. Virksomheden siger, at den scorer 41 % i Terminal-Bench 4.0, en test af AI-agenter, der arbejder i en kommandolinje, hvilket er det bedste resultat blandt åbne modeller. Mistral siger også, at modellen er på niveau med GLM-5.3 i Artificial Analysis’ indeks for programmeringsagenter, samtidig med at den bruger 47 % færre tokens pr. opgave og dermed er billigere at køre. I blindede sammenligninger fra Surge foretrak bedømmerne dens kode frem for koden fra GLM-5.3, Kimi K3 og DeepSeek V4.1 Flash, og placerede kun Anthropics Claude Opus 5.5 over den.

Sikkerhedsargumentet retter sig mod dem, der skal forsvare systemer. Hugging Face siger, at modellen scorede 82 % i en opgave fra Artificial Analysis, hvor en model skal genskabe en reel sårbarhed i open source-software og derefter rette den. Mistral oplyser, at flere lukkede frontier-modeller scorer tæt på nul i testen, fordi de nægter at forsøge. En bank eller en offentlig myndighed kan køre modellen på egne servere, give den adgang til sin egen kode og sine egne nedbrudslogfiler og fortsætte med at bruge den, hvis en udbyder ændrer sine vilkår. »AI bliver som elektricitet. Man ønsker ikke at leve i en verden, hvor naboen fra den ene dag til den anden kan afbryde strømmen«, sagde Pierre Stock, Mistrals vicepræsident for forskning, til journalister ifølge Wired.

De fleste af tallene stammer fra Mistral selv og bygger på målinger, virksomheden har valgt, og uafhængige tests er knap nok gået i gang. På Artificial Analysis’ samlede intelligensindeks placerer Hugging Face modellen som nummer fem blandt åbne modeller, ikke som nummer ét. Sikkerhedsargumentet går også begge veje. Mistral skrev, at virksomheden under forhåndsvisningen overvågede live-trafik og så »et potentiale for at styrke evnen til at udføre reelle angreb«, og at den derfor strammer sine sikkerhedsforanstaltninger. Men alle kan downloade de offentlige modelvægte og tilpasse dem, også angribere. »Det er tydeligvis en teknologi med dobbelt anvendelse«, sagde Rafe Pilling, senior direktør for trusselsanalyse hos Sophos, til Wired.

At bruge modellen derhjemme indebærer også kompromiser, selv hvis man har den rette Mac. Hugging Face kørte 2-bit-udgaven på en ældre M3 Ultra Mac Studio og nåede op på omkring 15 tokens i sekundet – fint til chat, men langsomt til længere programmeringsopgaver. Med fire Nvidia RTX 6000 Pro-kort og meget lange dokumenter faldt hastigheden til omkring 3 tokens i sekundet. Når modellen presses ned på 2 bit, går det desuden ud over nøjagtigheden sammenlignet med den fulde version, som Mistral brugte i sine målinger.

Modelvægtene kan downloades fra Hugging Face over hele verden under Mistral Ecosystem Open-Weight License, en ændret MIT-licens, der tillader gratis brug, finjustering og kommercielle produkter. Der er dog én undtagelse: Virksomheder, der sælger modellen som en hostet tjeneste, skal have en særskilt kommerciel licens fra Mistral. Alle andre kan også bruge den via Mistrals API til 0,70 dollar pr. million input-tokens og 2,10 dollar pr. million output-tokens eller via OpenRouter og Microsoft Foundry. Mistral udsendte en forhåndsvisning tidligere i oktober og offentliggjorde de endelige modelvægte den 29. oktober. Apple oplyser, at Mac Studios bestilt med 512 GB bliver leveret mellem slutningen af november og begyndelsen af december.

»Når først modelvægtene er open source, ligger de overalt på internettet. Det er umuligt at lukke adgangen«, sagde Stock til Wired. For alle uden en computer til 22.299 dollar er det prisen på hukommelsen, der sætter grænsen.

Tags: , , , , ,

Tilføj os på Google

Debat

Der er 0 kommentarer.