La scena più inquietante non è quella di un’intelligenza artificiale che si ribella, prende il controllo di un’arma e decide di fare la guerra per conto proprio. Ma è un’immagine che appartiene al cinema, che ha il vantaggio di rendere visibile il pericolo.

La realtà non ha questo privilegio e potrebbe essere molto meno spettacolare: un agente militare continua a lavorare, riceve dati, elabora scenari, propone priorità e suggerisce risposte. Tutto sembra normale. Soltanto che, da qualche parte, la sua percezione è stata spostata di pochi gradi.

Ecco i rischi legati agli agenti militari basati sull’intelligenza artificiale.

La degradazione è più economica della distruzione: rende la macchina incerta

Non serve trasformare una macchina in un nemico, piuttosto è sufficiente renderla leggermente meno affidabile.

Un bersaglio classificato con maggiore urgenza, un segnale considerato più ostile di quanto sia, una minaccia sovrastimata, un’anomalia ignorata. Nessuno di questi errori, preso da solo, assomiglia a un atto di guerra. Insieme, però, possono orientare una decisione, accelerare una reazione o costruire un quadro operativo falso ma credibile.

La tecnologia non smette di funzionare: continua a farlo abbastanza bene da essere ascoltata e abbastanza male da diventare pericolosa.

È questa una delle forme tipiche di quelle che definisco guerre diffuse. Il conflitto non entra necessariamente in scena con un’esplosione, un blackout o una rivendicazione.

Può invece installarsi nel funzionamento ordinario dei sistemi, alterarne la taratura e lasciare che siano loro a produrre gli effetti.

La distruzione è rumorosa e costringe qualcuno a esporsi. La degradazione è più economica: non spezza la macchina, la rende incerta.

A quel punto il problema non è soltanto tecnico: se l’agente sbaglia, dobbiamo stabilire se si tratta di un limite del modello, di dati incompleti, di un errore umano, di un malfunzionamento o di un attacco deliberato.

Proprio questa distinzione potrebbe diventare impossibile. Un aggressore non ha bisogno di controllare interamente il sistema; può limitarsi a confondere le cause e lasciare agli altri il compito di discutere sulle conseguenze.

La prima vulnerabilità degli agenti militari, quindi, non coincide con il rischio che vengano “presi” dal nemico.

È la possibilità che continuino a funzionare senza che nessuno sappia più con certezza per chi lo stanno facendo.

La decisione si disperde lungo la catena

Un tempo la catena di comando aveva la forma rassicurante di una scala: qualcuno ordinava, qualcun altro eseguiva e, almeno in teoria, risalendo i gradini si arrivava al responsabile.

Con gli agenti militari basati sull’intelligenza artificiale quella scala comincia ad assomigliare a una rete.

La decisione passa attraverso dati raccolti da sensori, modelli addestrati da aziende, componenti sviluppati da fornitori, aggiornamenti distribuiti a distanza, operatori che interpretano e comandanti che autorizzano.

Tutti partecipano, ma nessuno possiede davvero l’intero processo.

Lo Stato conserva l’autorità formale sull’impiego della forza, tuttavia esercita quella autorità attraverso tecnologie che spesso non ha progettato, non controlla integralmente e non sarebbe in grado di mantenere da solo.

Può possedere il sistema d’arma e dipendere comunque da chi aggiorna il modello, custodisce l’infrastruttura, certifica i dati o stabilisce gli standard.

È una sovranità senza profondità tecnologica: siede al volante, ma una parte del motore è sigillata e il libretto delle istruzioni appartiene a qualcun altro.

Il quadro

Non si tratta di demonizzare le imprese private. Sarebbe troppo semplice e anche poco utile.

Il problema è la differenza di mandato. Un’azienda risponde al mercato, ai contratti, alla reputazione e al rischio legale; un apparato militare risponde alla sicurezza nazionale, alla catena politica e, almeno nelle democrazie, al diritto.

Finché queste logiche coincidono, il sistema sembra compatto, ma quando divergono, emerge una zona grigia nella quale il potere di decidere e quello di rendere eseguibile la decisione non abitano più nello stesso luogo.
In questo quadro, anche il richiamo al controllo umano rischia di diventare una formula consolatoria.

Un uomo “nel circuito” non controlla necessariamente nulla se riceve una raccomandazione opaca, ha pochi secondi per valutarla e non dispone di fonti alternative.

Può limitarsi a confermare ciò che la macchina ha già reso inevitabile. Il pulsante rosso resta sulla scrivania, ma la vera decisione è stata presa molto prima, dentro una sequenza di scelte tecniche che nessun singolo individuo è più in grado di ricostruire.

Quando qualcosa va storto, la responsabilità non scompare: si distribuisce fino a diventare quasi invisibile.

Il progettista ha costruito il modello, il fornitore ha consegnato i dati, il tecnico ha validato il sistema, l’operatore ha seguito la procedura, il comandante ha autorizzato l’azione.

Tutti possono dimostrare di avere fatto la propria parte. Proprio per questo potrebbe diventare impossibile stabilire chi abbia davvero deciso.

Gli agenti militari come strumenti delle guerre diffuse

Gli agenti militari basati sull’intelligenza artificiale non sono soltanto nuovi strumenti da proteggere.

Sono nuovi spazi nei quali il conflitto può nascondersi. Un attacco informatico tradizionale lascia almeno una traccia riconoscibile: un sistema bloccato, dati sottratti, un servizio interrotto.

Un agente manipolato può invece continuare a operare, produrre analisi plausibili e suggerire decisioni coerenti con le procedure. Il danno non coincide con il suo arresto, ma con la perdita della possibilità di capire se ciò che sta facendo dipenda da un errore, da un limite del modello o da un intervento ostile.

Questa ambiguità ha un valore strategico. Se un sistema sbaglia una volta, si parlerà di malfunzionamento. Se lo fa più volte, si aprirà un’indagine.

Invece, se gli errori saranno piccoli, distribuiti e compatibili con la complessità dell’ambiente operativo, potrebbe non esserci mai un momento preciso nel quale dichiarare che è in corso un attacco.

La soglia non viene superata: si consuma ed ogni anomalia resta troppo modesta per giustificare una risposta, ma l’insieme può modificare percezioni, priorità e comportamenti.

In questo contesto gli agenti militari diventano strumenti tipici delle guerre diffuse. Non perché siano necessariamente autonomi o incontrollabili, ma perché rendono più opaco il rapporto tra causa ed effetto.

L’aggressore può limitarsi a introdurre attrito, confidando nel fatto che la complessità del sistema farà il resto.

La macchina continuerà a fornire risposte, i comandanti continueranno a riceverle e le organizzazioni continueranno a discutere se il problema sia tecnico, umano o intenzionale.

Nel frattempo, il conflitto avrà già prodotto i suoi effetti. Per questa ragione la governance non può ridursi a principi generali o a un pulsante di arresto. Deve diventare un’architettura della responsabilità: registrare le decisioni, rendere verificabili i dati, separare i poteri di modifica, prevedere controlli indipendenti e soprattutto consentire al sistema di degradare senza trascinare con sé l’intera catena operativa.

La resilienza non consiste nel promettere che l’agente non sbaglierà mai, ma nel fare in modo che il suo errore sia riconoscibile, circoscritto e attribuibile.

Nelle guerre diffuse il vantaggio non appartiene soltanto a chi colpisce meglio, ma anche a colui che riesce a far sembrare il colpo un incidente.