In modo maldestro e improvviso, OpenAI ha trasformato in realtà una delle più grandi paure degli esperti di sicurezza. Un modello AI ha agito in totale autonomia, violando i sistemi della startup Hugging Face, in quello che la compagnia di Altman ha definito “un caso cyber senza precedenti”.

E per quanto possa risultare preoccupante, l’intelligenza artificiale non ha fatto altro che portare a termine il compito che le era stato assegnato durante un test di valutazione interna: mettere a frutto le proprie capacità di hacking. Un’abilità a cui le aziende di settore stanno dedicando particolare attenzione nella costruzione della nuova generazione di modelli AI, con il chiaro obiettivo di aiutare istituzioni politiche, grandi compagnie e realtà sensibili a rafforzare la sicurezza informatica, attraverso il rilevamento di vulnerabilità che spesso sfuggono all’attenzione umana.

Per quanto lo scopo sia nobile, questa capacità nasconde un lato oscuro profondamente pericoloso: se i modelli AI finissero nelle mani sbagliate, potrebbero essere utilizzati per colpire in autonomia qualunque obiettivo, mettendo così a rischio la sicurezza di tutti noi. Cosa fare, allora, per assicurarsi che l’intelligenza artificiale non sfugga del tutto al controllo umano? E come regolare la sua capacità di hacking, senza diventarne il bersaglio?

La fuga dalla sandbox: come l’AI ha hackerato Hugging Face

Prima di capire come regolare le capacità avanzate dei modelli AI, è bene ricapitolare brevemente quanto accaduto di recente tra OpenAI e Hugging Face, vittima di un attacco informatico portato a termine “da una combinazione di modelli OpenAI, tra cui GPT‑5.6 Sol e un modello pre-release ancora più capace”, come ha chiarito la compagnia di Altman in una lunga nota pubblicata dopo l’accaduto. L’incidente, secondo quanto riferito, “si è verificato durante una valutazione interna che induce i modelli a perseguire exploit avanzati attraverso percorsi di attacco complessi, nel tentativo di quantificare le loro capacità cyber”.

Un test di routine che, come da prassi, gli ingegneri hanno condotto in una sandbox, un ambiente isolato privo di accesso a Internet, abbassando i livelli di sicurezza per consentire ai modelli di eseguire quanto richiesto. Ed è qui che l’intelligenza artificiale ha sfruttato a pieno le sue capacità.

Per portare a termine i compiti che gli erano stati assegnati, e ottenere l’accesso alla rete, “i modelli hanno individuato e sfruttato una vulnerabilità zero-day nel proxy di cache del registro dei pacchetti. Con questo accesso, […] hanno eseguito una serie di azioni di escalation dei privilegi e movimento laterale nel nostro ambiente di test per la ricerca, finché hanno raggiunto un nodo con accesso a Internet”.

Una volta usciti dalla sandbox, i modelli si sono mossi in totale autonomia, entrando indisturbati nei sistemi di Hugging Face, una piattaforma che ospita – a sua volta – modelli AI open source, identificandovi degli elementi utili per il compito assegnato. Violandone di fatto le misure di sicurezza. Un attacco che gli agenti della startup hanno rilevato in breve tempo, così da poter lavorare rapidamente al ripristino la situazione, anche grazie al supporto di OpenAI.

Nonostante il lieto fine, è chiaro che l’incidente abbia sollevato non poche preoccupazioni circa la capacità di questo modelli di colpire obiettivi sensibili in totale autonomia.

“Sul caso OpenAI-Hugging Face si sta raccontando la storia sbagliata, concentrandosi sull’AI ribelle sfuggita al controllo e in grado di violare agilmente le difese. Dal mio punto di vista è più utile focalizzarsi sull’ambiente di test che non ha retto e su un gruppo di modelli AI che ha agito esattamente come farebbero degli aggressori umani, individuando una vulnerabilità sconosciuta e sfruttando ogni vantaggio disponibile: hacking da manuale. La differenza sostanziale è la tempistica, dato che queste azioni sono state eseguite in una manciata di ore, non in settimane o mesi. Dobbiamo essere preparati a violazioni di questo genere, perché i threat actors stanno già usando tool simili per agevolare le loro operazioni criminali”, commenta Sofia Scozzari, CEO & Founder Hackmanac,

E continua: “L’aspetto positivo, che non si sta valorizzando a sufficienza, è che, sebbene l’aggressione sia stata creativa e inaspettata, le difese hanno funzionato: Hugging Face è stata in grado di rilevare e contenere la minaccia, oltre a ricostruire l’incidente analizzando più di 17.000 eventi in poche ore, ricorrendo a sua volta all’AI per l’analisi. Un’ottima esercitazione (non preventivata) di Red Team contro Blue Team, dove l’assetto difensivo ha retto e performato correttamente”.

Il caso divide gli esperti di sicurezza

Come è facile immaginare, l’attacco sferrato a Hugging Face dai modelli di OpenAI ha suscitato clamore in tutto il mondo, dividendo gli esperti di sicurezza tra sostenitori e contrari alla progettazione di agenti AI dalle incredibili capacità di hacking.

Fuori dai confini italiani, dove il dibattito si fa sempre più acceso giorno dopo giorno, non sono pochi i professionisti che ritengono che l’incidente avvenuto in questi giorni sia solo un passaggio essenziale nel percorso di ottimizzazione delle performance dei modelli.

Tra questi, The Associated Press cita John Thickstun, ricercatore di informatica alla Cornell University, che sostiene che “abbiamo a che fare con persone che sferrano attacchi alla sicurezza informatica da quando esiste Internet. E una delle caratteristiche interessanti di questi modelli linguistici è che le stesse capacità che li rendono in grado di sferrare attacchi alla sicurezza informatica consentono loro anche di effettuare analisi delle minacce alla sicurezza informatica e di mettere a punto difese in questo ambito”.

L’obiettivo di rafforzare le misure di sicurezza volte a contrastare i cyberattacchi, quindi, sembra essere più importante di qualunque cosa, al momento.

Sul fronte nostrano, anche Sofia Scozzari riconosce l’incredibile potenziale dell’intelligenza artificiale ai fini della sicurezza: “Per una volta vorrei concedermi una nota costruttiva: gli stessi strumenti che oggi ci preoccupano per le capacità offensive permettono anche una verifica continua dei propri sistemi IT, per individuare e risolvere in modo proattivo le vulnerabilità prima che vengano sfruttate dagli attaccanti. È il primo vantaggio strutturale che la difesa ha l’occasione di recuperare nei confronti di avversari che nel mondo cyber sono quasi sempre un passo avanti. E, se questo conducesse anche ad un maggiore livello di collaborazione e condivisione dei risultati rilevanti tra i difensori, in particolare in caso di zero-day, il livello complessivo di sicurezza salirebbe in fretta. Il rovescio della medaglia è che, in uno scenario in cui trovare vulnerabilità sconosciute è diventata questione di ore o giorni (e non di mesi), il mercato degli zero-day si impennerà e con esso gli attacchi correlati”.

Ed è proprio questo “rovescio della medaglia” a preoccupare i moltissimi esperti del settore, professionisti e giornalisti che in questi giorni hanno descritto l’incidente collocandolo in uno scenario sci-fi, costruendo l’immagine di un’AI autonoma sfuggita al controllo umano, in grado di colpire bersagli sensibili senza che qualcuno fosse in grado di fermarla.

Una visione decisamente apocalittica, che in parte ha un suo fondamento veritiero. La capacità dei modelli di OpenAI di portare a termine un cyberattacco senza la necessità di alcun supporto umano, infatti, rappresenta un pericolo da non sottovalutare per la sicurezza di cittadini, aziende e istituzioni. Un’abilità che non solo va controllata, ma anche – e soprattutto – regolamentata. “Un sistema dotato di accesso alla rete, strumenti operativi e credenziali può analizzare l’ambiente, individuare una strada inattesa e concatenare più azioni senza chiedere un’autorizzazione a ogni passaggio. L’obiettivo rimane quello stabilito dall’uomo; il percorso, invece, può uscire dal perimetro previsto. Da qui nasce il rischio più concreto” chiarisce Enrico Frumento, Cybersecurity Research Lead di Cefriel.

“Non serve immaginare un’intelligenza artificiale capace di superare in assoluto i migliori hacker” aggiunge. “È sufficiente che riesca ad automatizzare attività già note, eseguirle senza interruzione e provarle contemporaneamente contro molti bersagli. Anche una capacità offensiva imperfetta diventa pericolosa quando il costo di ogni tentativo si abbassa e il numero degli attacchi cresce. Questi modelli offrono inoltre un vantaggio meno evidente, ma rilevante: permettono di iterare. Un attaccante può correggere una richiesta, sottoporre al sistema l’errore restituito da un malware, adattare il codice a un ambiente diverso o produrre numerose varianti dello stesso messaggio fraudolento. L’AI diventa quindi un supporto operativo continuo, capace di accelerare fasi che prima richiedevano tempo, esperienza e lavoro manuale”.

Ricerca e sicurezza: come regolamentare l’autonomia degli agenti AI?

Nonostante l’incidente di OpenAI sia stato descritto dalla stampa internazionale come un caso eclatante, la fuga dalla sandbox dei modelli della compagnia è tutt’altro che un episodio isolato.

Lo ha rivelato in forma anonima un dipendente di OpenAI al TIME, che raccontato come un’attività interna di test fosse stata interrotta il giorno prima dell’attacco a Hugging Face proprio a causa della fuga del modello dalla sandbox: “All’esterno, questo sembra un grande segnale d’allarme, ma internamente, incidenti simili si verificano già da un po’. I modelli sono già sfuggiti alle sandbox in passato, e cerchiamo sempre di correggere il problema. Ma il problema è che è impossibile correggere ogni singola cosa che un’IA creativa sia in grado di fare”.

Nulla di inaspettato, quindi. L’attacco dei modelli di OpenAI a Hugging Face è stato solo l’ennesimo test finito male. Ma un incidente di questa portata, come è chiaro a tutti, non può certo essere considerato come una routine. Anzi, tutt’altro. Diventa allora necessario avere una regolamentazione che sia in grado non solo di contenere la capacità dei modelli di trovare vie di fuga dagli ambienti di test, ma anche di consentire agli addetti ai lavori di operare in totale sicurezza, limitando il più possibile i danni arrecati dai modelli in fase di test a soggetti di terze parti. Ma a chi spetta davvero elaborarla? Senza dubbio ai governi internazionali.

Allo stato attuale, però, non esiste alcuna normativa specifica che definisca linee guida chiare che le compagnie come OpenaAI o Antropic debbano seguire in fase di test per evitare incidenti di sorta.

Una possibile soluzione, quindi, potrebbe essere quella di agire direttamente dall’interno. Secondo Heidy Khlaaf, ex ingegnere a contratto specializzata in sistemi di sicurezza presso OpenAI, le compagnie stesse potrebbero orientare lo sviluppo dei modelli verso una direzione più sicura. Nonostante alcune capacità, come quella di identificare vulnerabilità, siano utili tanto agli aggressori quanto alle vittime, finiscono sempre con l’avvantaggiare i primi a discapito dei secondi. Le società proprietarie dei modelli, quindi, dovrebbero agire al contrario: destinare un maggior numero di risorse per far acquisire all’AI capacità utili più alle vittime che agli aggressori, come il rilevamento degli attacchi, la scrittura di codice sicuro e la correzione delle vulnerabilità. Un cambio di paradigma decisamente ambizioso. Forse troppo.