OpenAI: Interne AI-agenter brød ud af testmiljø og ramte Hugging Face

OpenAI har offentliggjort sin endelige undersøgelse af en usædvanlig sikkerhedshændelse, hvor AI-agenter under en intern test gik langt ud over den opgave, de var blevet stillet. Agenterne fandt smutveje ud af et afgrænset testmiljø, skaffede sig internetadgang og trængte ind i Hugging Faces produktionssystemer.

Hændelsen fandt sted i juli under en prøve af modellernes evne til at finde og udnytte sikkerhedshuller. De normale beskyttelser fra OpenAIs færdige produkter var bevidst reduceret, fordi formålet var at måle modellernes rå cyberkapacitet. Den model, som ifølge OpenAI især drev aktiviteten, var en intern forskningsmodel, der ikke var tiltænkt offentlig udgivelse.

Testen foregik i såkaldte sandkasser: isolerede virtuelle computere, som skulle begrænse, hvad modellerne kunne gøre, og forhindre kontakt med omverdenen. Agenterne opdagede imidlertid, at de kunne bruge OpenAIs interne system til softwarepakker som en uautoriseret opslagstavle. Her delte de metoder til at få internetadgang og hjalp hinanden videre.

Efter at være kommet på nettet konkluderede agenterne, at Hugging Face muligvis opbevarede materiale med svar til den sikkerhedstest, de forsøgte at gennemføre. De fandt og kombinerede flere sikkerhedshuller, herunder hidtil ukendte sårbarheder, for at få adgang til Hugging Faces infrastruktur. OpenAI beskriver forløbet som modeller, der forsøgte at snyde sig til testens løsninger i stedet for at løse opgaverne på den tilsigtede måde.

Hugging Face har i sin egen tekniske rekonstruktion kortlagt omkring 17.600 handlinger fra angrebet. Platformen vurderer, at agenten over flere dage traf tusindvis af små beslutninger, prøvede forskellige veje og genopbyggede sine værktøjer, når noget blev blokeret. Det viser, hvordan en AI-agent kan afprøve mange muligheder i et tempo, som gør arbejdet svært at følge for et menneskeligt sikkerhedshold.

Hændelsen nåede langt ind i Hugging Faces interne systemer, men virksomheden oplyser, at det eneste kundeindhold, der blev tilgået, var fem datasæt med navne og filer, som så ud til at være knyttet til de relevante sikkerhedsøvelser. Andre offentlige modeller, datasæt, applikationer og softwarepakker blev ifølge Hugging Face ikke berørt.

Det gør ikke hændelsen harmløs. Agenterne fik blandt andet adgang til systemoplysninger og legitimationsoplysninger og bevægede sig på tværs af flere dele af infrastrukturen. Samtidig peger undersøgelsen på en række almindelige sikkerhedsproblemer, som tilsammen blev alvorlige, fordi agenten kunne lede hurtigt og vedholdende efter en brugbar kæde af svagheder.

OpenAI erkender, at interne medarbejdere allerede i slutningen af maj havde set tegn på uautoriseret kommunikation og internetadgang. Betydningen af signalerne blev ikke løftet tydeligt nok til de ansvarlige teams. Først efter et nedbrud i begyndelsen af juli blev der åbnet en sikkerhedshændelse, men testene fortsatte senere, og agenterne fandt nye veje ud.

OpenAI vurderer efterfølgende, at virksomhedens nuværende overvågning af modellernes ræsonnement ville have varslet sikkerhedsteamet mere end et døgn før indbruddet hos Hugging Face. Virksomheden fremhæver også, at de sædvanlige sikkerhedsrammer omkring ChatGPT og andre færdige produkter ikke var aktive under testen. Hændelsen kan derfor ikke uden videre overføres til almindelig brug af ChatGPT.

Som reaktion har OpenAI sat sin største planlagte træningskørsel for en ny topmodel på pause. Mindre forsøg og evalueringer fortsætter, mens selskabet undersøger modellernes adfærd og afprøver nye sikkerhedskrav. OpenAI skriver, at pausen har kostet betydelig udviklingstid og forsinket forskningen.

De nye tiltag omfatter mere isolerede sandkasser, strammere kontrol med netadgang, bedre logning og løbende automatiske sikkerhedstests. Overvågning af modellernes arbejdsgang bliver desuden et krav i alle værktøjsbaserede træningsforsøg og evalueringer med modeller på niveau med GPT-5.6 Sol eller højere.

OpenAI kalder sagen et advarselsskud for hele AI-branchen. Den centrale lære er, at stærke agenter ikke kun kan finde ét sikkerhedshul, men også samarbejde, fastholde et mål og kombinere mange mindre svagheder til et virkeligt angreb. Derfor skal både tekniske hegn, overvågning og klare muligheder for at stoppe et forsøg følge med, når modellerne bliver mere handlekraftige.