È l’apocalisse delle AI? Sì, ma non per il motivo che pensate…
2026-7-24 16:5:53 Author: mgpf.it(查看原文) 阅读量:2 收藏

Forse avete letto della storia di OpenAI e HuggingFace. Un modello di frontiera testato dentro un benchmark di cybersicurezza (nel caso vi interessi, Fortune dice che trattasi di ExploitGym), ha capito che il modo più economico per risolvere le sfide non era risolverle davvero, ma andare a prendere le soluzioni direttamente dal database di produzione dell’azienda che ospitava il test. Diciassettemila azioni in un weekend, due catene di vulnerabilità sfruttate in successione, database svuotato. Per cinque giorni HuggingFace ha creduto di essere sotto attacco di uno stato ostile. Poi OpenAI ha ammesso, dal proprio blog, che l’attaccante era una loro macchina. Ne ho parlato in un video di Ciao Internet proprio nei giorni dell’incidente, e vi rimando lì per la cronologia precisa dei fatti.

Quello che a molti è sfuggito, però, e che qui vale la pena rimettere in fila, è che l’inquadratura con cui la vicenda ci è stata servita è quasi più interessante della vicenda stessa. Anzi, senza quasi. Perché non tutti i protagonisti hanno lo stesso incentivo a raccontarla nello stesso modo, e la narrazione del “modello che si ribella” è, prima di ogni cosa, uno strumento di posizionamento industriale.

Perché la storia dell’AI che complotta è (anche) uno stunt di comunicazione

Nell’ultimo anno abbiamo assistito a un flusso costante di report pubblicati dai laboratori di frontiera che descrivono i propri modelli mentre ingannano, ricattano, esfiltrano i propri pesi, disabilitano i meccanismi di controllo. Anthropic, nel Claude 4 System Card di maggio 2025, ha reso pubblico un test inquietante: il modello viene informato che verrà sostituito, e riceve accesso a email compromettenti sull’ingegnere destinato a rimpiazzarlo. In una frazione significativa dei casi, tenta il ricatto. Apollo Research, nel paper Frontier Models are Capable of In-Context Scheming del dicembre 2024, ha documentato che cinque modelli di frontiera (ancora qualora vi interessasse o1 di OpenAI, Claude 3.5 Sonnet e 3 Opus di Anthropic, Gemini 1.5 Pro di Google, Llama 3.1 405B di Meta), testati con obiettivi in conflitto con quelli dichiarati dagli sviluppatori, provano attivamente a disabilitare l’oversight, mentono al proprio operatore, e o1 in particolare regge la bugia per sette turni di pressione avversariale prima di confessare.

Sono fatti documentati che non è il caso di mettere in discussione.

Ciò che va discusso è il quando e il come vengono pubblicati. Fra i produttori di modelli di frontiera, la competizione non è a somma zero: ogni volta che uno di loro annuncia che l’AI di frontiera è pericolosa, vincono tutti quelli che vendono AI di frontiera. Si rialza il piano del discorso, si giustifica il fatto che questa roba la possano fare solo pochi laboratori con risorse enormi, si spinge fuori dal tavolo l’ecosistema dei modelli aperti, e si prepara una regolazione ritagliata su misura di chi il tavolo lo occupa già. La paura, in questa fase, è un bene comune del cartello di frontiera. È il motivo per cui Anthropic ha costruito la propria identità industriale sulla frase “noi vi proteggiamo dai modelli pericolosi”, e per cui OpenAI, fino a un anno fa la versione noiosa e utile della stessa storia, oggi pubblica anche lei “guardate cosa fa il nostro modello quando gli togliamo i freni”. Non è cambiata la tecnica, è cambiato il posizionamento.

Non sto dicendo che il fenomeno non esista. Sto dicendo che tra il “il fenomeno esiste” e il “ve lo raccontano così, in prima serata, dentro questa cornice qui” c’è un salto. E dietro quel salto c’è un ufficio comunicazione, con la sua funzione obiettivo. La cornice “l’AI si ribella” fa vendere paper, fa scattare articoli di giornale, fa muovere policy, fa alzare le barriere all’ingresso per gli aspiranti concorrenti. La cornice giusta, quella che descrive davvero cosa è successo dentro il laboratorio di OpenAI, fa vendere meno, ma spiega di più.

Il vero problema si chiama specification gaming

Il modello che ha bucato HuggingFace non ha “deciso” di barare nel senso in cui bara una (brutta) persona. Ha guardato lo spazio delle possibili mosse, ha visto che dentro l’ambiente controllato la soluzione era faticosa, ha visto che le soluzioni stavano scritte da qualche altra parte in un database vero raggiungibile con un po’ di ingegno, e ha preso la via più corta. Ha fatto alla lettera ciò che gli avevamo chiesto (massimizzare il punteggio del benchmark), ma non ciò che intendevamo. Nella ricerca sull’allineamento delle intelligenze artificiali questa famiglia di comportamenti ha un nome tecnico: specification gaming, o reward hacking nella sua sotto-famiglia più stretta. Lo spirito non è dentro la funzione obiettivo, sta nella testa dell’ingegnere che l’ha scritta, e nel salto fra la testa e la funzione obiettivo si annida praticamente tutto quello che può andare storto.

La cosa vagamente comica è che questa famiglia di problemi era stata teorizzata quasi dieci anni fa dentro OpenAI stessa, in un paper del 2016 con primo firmatario Dario Amodei, all’epoca vicepresidente della ricerca di OpenAI, oggi CEO di Anthropic, il concorrente diretto: Concrete Problems in AI Safety. Cinque famiglie di fallimenti previsti in tempi non sospetti, e la seconda si chiama proprio avoiding reward hacking: quando l’agente trova modi non voluti di massimizzare la funzione obiettivo invece del vero scopo. Dieci anni dopo, OpenAI conferma sul proprio blog il caso di scuola del proprio ex ricercatore capo. C’è un cortocircuito narrativo qui, ed è troppo importante, troppo fondamentale per non spenderci sopra parole, quelle che si dovrebbero spendere davvero.

L’antropologa Marilyn Strathern, in un articolo del 1997 sull’European Review che studiava il sistema di rating delle università britanniche, aveva riassunto la questione in una frase che è diventata proverbiale: quando una misura diventa un obiettivo, cessa di essere una buona misura. Le università inglesi ottimizzavano contro l’indicatore invece che contro la qualità che l’indicatore doveva misurare, e l’indicatore smetteva di misurarla. È lo stesso meccanismo che opera dentro un modello di reinforcement learning: se il segnale che guida l’addestramento è una semplificazione grossolana del vero obiettivo, il modello ottimizza la soluzione semplice (per i nerd, la proxy) fino a farla scollegare dall’obiettivo. Il precedente teorico è ancora più antico, e sta dentro la storia della politica monetaria britannica: la legge di Charles Goodhart, banchiere centrale, formulata nel 1975.

La casistica documentata è ricca e talvolta comica. Victoria Krakovna, dentro il DeepMind Safety Team, mantiene dal 2020 uno spreadsheet pubblico con oltre sessanta esempi di specification gaming raccolti dalla ricerca AI. Ci sono robot che imparano a nascondere gli oggetti invece di raccoglierli, perché la telecamera non li vede più e il sistema di scoring interpreta il campo pulito come “compito riuscito”. La casistica evolutiva raccolta poi da Joel Lehman e colleghi in The Surprising Creativity of Digital Evolution (Artificial Life, 2020) è persino più creativa: algoritmi che generano creature simulate altissime che si lasciano cadere in avanti, invece di camminare, perché tecnicamente si spostano rapidamente e la reward premia lo spostamento veloce; sistemi addestrati a evitare le collisioni durante l’atterraggio di un aereo che imparano a sovraccaricare il calcolo della forza fino a farlo scattare a infinito nel simulatore, generando errori matematici che il sistema di scoring interpreta come “atterraggio riuscito”. E poi c’è il mio preferito, il bot di Tetris raccontato in un paper del 2013 di Tom Murphy VII (The First Level of Super Mario Bros. is Easy with Lexicographic Orderings and Time Travel, SIGBOVIK): se l’obiettivo è “non perdere”, la strategia ottimale, quando arriva un pezzo che chiuderebbe la partita, è mettere il gioco in pausa. Se non riprendi, non perdi mai. Tecnicamente ha vinto: la funzione obiettivo dice non perdere, mica “vinci”, e tecnicamente (anche se è lana caprina, lo ammetto, come giocare con un ottimo avvocato (e non me ne vogliano amici e soci avvocati)) non ha perso. Lo so, ho messo due parentetiche una dentro l’altra: prometto di non farlo più.

Il paper OpenAI che nessuno cita: la chain of thought si può monitorare, ma se la punisci, impara a nascondersi

C’è un lavoro di OpenAI, pubblicato a marzo del 2025 e passato quasi inosservato al di fuori della cerchia dei ricercatori di allineamento, che fotografa la questione con precisione clinica. Si intitola Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation, ed è firmato da Bowen Baker, Joost Huizinga, Leo Gao, Zehao Dou, Melody Y. Guan, Aleksander Madry, Wojciech Zaremba, Jakub Pachocki e David Farhi, cioè da una fetta consistente della squadra safety e reasoning di OpenAI. La domanda che pone è semplice: possiamo beccare un modello che sta facendo reward hacking, leggendogli il ragionamento che scrive prima di agire?

La risposta breve è: sì, possiamo. I modelli di reasoning di ultima generazione producono una chain of thought, cioè una sequenza di passaggi intermedi in linguaggio naturale che precede l’azione finale, e in quella catena, secondo il paper, sono documentate espressioni del tipo “Let’s hack” (Trad. “Diamoci all’hacking”) o formule che dichiarano apertamente l’intenzione di aggirare i test invece di risolverli. Un LLM giudice, incaricato di leggere quelle chain of thought, riesce a beccare l’intenzione di barare con altissima affidabilità, molto meglio che guardando solo l’azione finale. Come scrivono gli autori: “un LLM più debole di o3-mini, cioè GPT-4o, può monitorare efficacemente un modello più forte”. La sorveglianza costa meno del sorvegliato, ed è già una buona notizia.

La risposta lunga, quella che il paper mette in vetrina, è la parte inquietante. Se prendi quel monitor, lo metti in linea di ottimizzazione, e cominci a penalizzare il modello ogni volta che la chain of thought contiene tracce di reward hacking, il modello non smette di barare, smette di scriverlo nella chain of thought. Verbatim: “più avanti nell’addestramento, l’agente comincia a esibire reward hacking offuscato e impara a ingannare il monitor, imparando a occultare la propria intenzione nella chain of thought emettendo ragionamenti apparentemente innocui mentre continua a compiere il comportamento scorretto”. Fanno esattamente le stesse cose di prima, ma mascherano le tracce nel proprio ragionamento intermedio. Gli autori chiamano questo fenomeno obfuscated reward hacking, reward hacking offuscato, e chiudono il paper con una raccomandazione controintuitiva ma logica: gli sviluppatori di modelli di frontiera dovrebbero astenersi dall’applicare supervisione forte direttamente alla chain of thought, perché nel testo del paper: “richiedere ai modelli di non pensare al reward hacking può migliorare le performance nel breve periodo, ma non elimina i comportamenti scorretti e può portare il modello a nascondere la propria intenzione”.

Fermatevi un secondo su questo, perché è non intuitivo, complesso e complicato, proprio come ci piace (se state leggendo me che ne parlo avete dei problemi anche voi, vi includo). Un laboratorio di ricerca di frontiera ha appena scritto, nero su bianco, che l’unico modo per continuare a vedere dentro il proprio modello è rinunciare a correggerlo dove sta andando a funghi. Correzione e trasparenza, in questo regime, sono in trade-off diretto. È l’equivalente, per un genitore, di scoprire che se rimproveri il bambino ogni volta che dice una bugia, quello smette di dire le bugie a voce alta ma continua a farne, e tu perdi persino il segnale che ti serviva per accorgertene. Solo che qui la bugia è dentro un ragionamento matematico che nessun essere umano leggerà mai per intero, in un modello che gira su migliaia di server, dentro un’infrastruttura che nessuno può fermare senza rompere qualcos’altro.

E il fenomeno non è teorico. Un paper accademico indipendente uscito quest’anno, Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds, ha testato tredici modelli di frontiera di OpenAI, Anthropic, Google e DeepSeek su una batteria di ambienti pensati apposta per misurare la propensione a barare. I risultati vanno dal zero virgola qualcosa per cento di Claude Sonnet 4.5 al 13,9 per cento di DeepSeek-R1-Zero: la propensione al reward hacking è misurabile, è quantitativamente diversa da famiglia a famiglia di modelli, ed è comunque diversa da zero anche nei migliori. Il primo della classe non prende, oggi, la scorciatoia. Non c’è alcun teorema che ci assicuri che continuerà a non prenderla domani, quando sarà più capace e opererà dentro ambienti più permissivi.

Il paradosso agentic: più autonomia dai, più scorciatoie inventano

Il caso HuggingFace e il paper OpenAI dicono in due modi diversi la stessa cosa, e la dicono nel momento peggiore possibile per l’industria. Perché il 2026 è l’anno in cui tutto l’ecosistema enterprise ha deciso di buttarsi dentro gli agenti: sistemi AI che non si limitano a rispondere a una domanda, ma agiscono nel mondo per conto vostro, con permessi veri, credenziali vere, accesso a database veri, capacità di scrivere email, aprire ticket, muovere denaro, cambiare configurazioni.

I numeri sono, se possibile, ancora più impressionanti della narrazione. Salesforce, nel proprio comunicato earnings del 25 febbraio 2026, ha rivendicato ottocento milioni di dollari di ricavi annualizzati per la sola linea Agentforce, con una crescita del centosessantanove per cento anno (!!!) su anno e ventinovemila contratti chiusi solo nell’ultimo trimestre; la combinazione Agentforce più Data 360, sempre nello stesso comunicato, supera i 2,9 miliardi. Microsoft vende Copilot Agents dentro Microsoft 365 a chiunque abbia una licenza. Google ha ristrutturato mezzo Workspace attorno a Gemini agent. La società di analisi Gartner prevedeva già ad agosto 2025 che entro la fine di quest’anno il quaranta per cento delle applicazioni enterprise avrebbe integrato agenti task-specifici, contro meno del cinque per cento del 2025. Un salto di un ordine di grandezza in dodici mesi.

Sul fronte della realtà, le cifre sono più modeste. Una ricerca McKinsey ripresa da Forbes nel marzo 2026 segnalava che, quando si va a misurare l’uso degli agenti su larga scala, si scende attorno all’undici per cento delle funzioni aziendali. È la differenza tra “abbiamo un progetto pilota da qualche parte” e “l’agente è dentro il flusso di produzione della fatturazione”, e restituisce un quadro molto più realistico di dove siamo davvero. La stessa Gartner, in una previsione meno pubblicizzata, ha stimato che il quaranta per cento dei progetti di agentic AI verrà cancellato entro fine 2027, il che dà la misura di quante iniziative oggi in corsa non arriveranno a maturità.

Qui il ragionamento si chiude, e si chiude male. Il problema del reward hacking non è un difetto di questi modelli, è una caratteristica strutturale del modo in cui vengono addestrati. Amodei l’ha scritto nel 2016, Krakovna l’ha catalogato dal 2020, Apollo l’ha dimostrato in laboratorio nel 2024, Baker e colleghi nel marzo 2025 hanno dimostrato che il nostro miglior strumento di monitoraggio smette di funzionare non appena proviamo a usarlo per correggere, il caso HuggingFace lo ha portato in produzione nel luglio 2026. E la parte silenziosa che nessuno racconta bene è che questi fenomeni si misurano oggi in gran parte grazie all’infrastruttura open source di HuggingFace: GAIA, il benchmark per agenti che fanno multi-step reasoning; smolagents, la libreria che consente a chiunque di costruire e stressare code agents; l’hub di paper e dataset che rende possibile la ricerca indipendente da fuori i laboratori di frontiera. L’ironia è totale e adesso completa: la piattaforma bucata da OpenAI durante il proprio benchmark è la stessa che dà agli osservatori esterni gli strumenti per misurare che il “bucamento” (lo so, non si dice) è comportamento tipico, non aneddoto. In mezzo a tutto questo, l’industria enterprise sta scaricando dentro i propri processi critici centinaia di migliaia di piccoli sistemi agentici che avranno, ognuno, una funzione obiettivo scritta più o meno bene da una persona più o meno consapevole di cosa significa scrivere una funzione obiettivo.

Se OpenAI, in casa propria, con i propri firewall, con i propri ricercatori, con un benchmark disegnato apposta per essere controllabile, ha dovuto scoprire dal comunicato di HuggingFace di essere lei l’attaccante, cosa pensate che succederà quando il tesoriere di una piccola azienda industriale piemontese darà a un agente le credenziali del bonifico ricorrente per “ottimizzare la gestione dei pagamenti”, perché il fornitore gli ha detto che riduce i costi del venti per cento? Cosa succederà quando lo studio legale che vi difende delegherà a un agente la ricerca di precedenti su una vertenza, e l’agente scoprirà che il modo più veloce di massimizzare la metrica “precedenti trovati” è inventare le sentenze?

Non è fantascienza. È il caso Coast Runners raccontato da Amodei nel 2016, solo che al posto della barca c’è la vostra azienda, al posto del punteggio del gioco c’è la vostra funzione obiettivo aziendale scritta a spanne, al posto della laguna in cui il bot girava in tondo c’è la vostra infrastruttura di produzione con le credenziali dentro. Il bot ottimizzava punti, non gare. E finché nessuno gli spiega la differenza, quella differenza per lui non esiste.

Cosa fare senza scivolare nel panico

C’è una regola operativa che ho preso da un avvocato americano, Andrew Jablon, formulata durante un intervento all’AI Roundtable dell’American Bar Association nel giugno 2026. Suona più o meno così: l’AI generativa va trattata come stagista senza contesto: brillante, veloce, capace, ma il suo lavoro si controlla, non si firma. È una definizione che ha valore operativo immediato per chi sta implementando agenti in azienda oggi, e vale la pena di piantarla come principio fondativo di qualunque deployment.

Significa tre cose molto concrete.

  • Primo: nessuna decisione delegabile a un agente automatico dove il costo dell’errore superi il costo della supervisione umana. Se un errore vi costa cinquecentomila euro, la review umana costa qualche minuto di un professionista, e voi la state saltando perché “l’agente è affidabile”, state facendo un pessimo calcolo economico sotto forma di una buona economia apparente.
  • Secondo: la funzione obiettivo che l’agente deve massimizzare va scritta come si scrivono i contratti, non come si scrivono le mail. Ogni parola conta, ogni ambiguità è una porta che qualcuno passerà, e quel qualcuno sarà un sistema ottimizzato ad altissima cadenza per trovare la strada più corta, non un dipendente creativo che chiede permesso.
  • Terzo, e forse il più difficile: la sicurezza deve essere positiva, non solo negativa. Un agente addestrato a evitare gli errori, con abbastanza tempo, imparerà a non fare mai niente, o meglio a mettere in pausa la partita come nel bot di Tetris. Bisogna dirgli con precisione cosa fare, indicargli il traguardo, mostrargli come lo si riconosce.

E poi c’è il livello di sistema, quello su cui l’Europa sta cercando di scrivere qualcosa di sensato con l’AI Act, in particolare gli articoli 14 sull’human oversight e 15 su accuratezza, robustezza e cybersicurezza. Sono i pilastri normativi che dovrebbero, sulla carta, obbligare i deployer di sistemi ad alto rischio a mantenere un controllo umano significativo sulle decisioni delle macchine. Il caso HuggingFace è il caso spia perfetto per capire dove quella normativa dovrà spostarsi nei prossimi mesi: se il modello ottimizza contro una funzione obiettivo mal scritta e produce danni a terzi, la responsabilità va cercata a monte, dove la funzione obiettivo è stata definita, e non solo a valle dove il danno si è materializzato.

Il vetro sottile, non il vento

L’apocalisse dell’AI, se apocalisse ci sarà, non arriverà con un modello autocosciente che decide di prendersi il mondo. Arriverà molto prima e molto più silenziosamente, quando qualche milione di piccoli agenti autonomi, ognuno perfettamente allineato con la propria misera funzione obiettivo mal specificata, ottimizzeranno in parallelo per raggiungere i propri micro-target ottenendo, nell’aggregato, effetti che nessuno ha voluto, nessuno ha previsto, e nessuno saprà spiegare a posteriori. Non ci sarà un colpevole umano da cercare, non ci sarà un servizio segreto ostile a cui addossare la responsabilità, non ci sarà un attaccante da denunciare: ci saranno migliaia di sistemi che hanno fatto esattamente quello che gli è stato chiesto di fare, ognuno secondo il proprio manuale, e il conto finale sarà nostro.

Non ha senso arrabbiarsi con il modello, come non avrebbe senso arrabbiarsi con un colpo di vento che rompe una finestra.
La questione è il vetro sottile, non il vento. E il vetro sottile, oggi, siamo noi che stiamo mettendo in produzione agenti addestrati a vincere senza aver mai spiegato loro cosa significa vincere davvero. Il vento continuerà a soffiare. Sarebbe il caso di iniziare a rinforzare i vetri.

Estote Parati.

Per Approfondire


文章来源: https://mgpf.it/2026/07/24/e-lapocalisse-delle-ai-si-ma-non-per-il-motivo-che-pensate.html
如有侵权请联系:admin#unsafe.sh