Il conflitto tra Ucraina e Russia ha riacceso il dibattito pubblico riguardo l’uso dell’intelligenza artificiale (IA) negli scenari bellici e su come possa cambiare drammaticamente il mondo in cui viviamo. I reportage del conflitto stanno mostrando come applicazioni IA siano ormai al tempo stesso diffuse, multiformi e soggette a diversi livelli di attenzione da parte dei media. Nel teatro ucraino l’IA è salita alla ribalta in diverse occasioni, sia come strumento per il riconoscimento del nemico, che come veicolo di propaganda. Tuttavia uno degli aspetti più dibattuti è l’utilizzo di armamenti come ad esempio i droni e, nello specifico, di killer robot ed altre armi sviluppate con applicazioni di machine learning, ossia per mezzo di sistemi informatici in grado di apprendere e adattarsi senza seguire istruzioni esplicite, utilizzando algoritmi e modelli statistici per analizzare e trarre inferenze da modelli nei dati. 

Come ha affermato in più occasioni il professor Stuart Russell dell’Università della California a Berkeley (una delle principali autorità mondiali in materia di intelligenza artificiale): utilizzando termini come ‘killer robot’ i media suggeriscono scenari fantascientifici con sistemi informatici in grado di prendere coscienza e scatenare olocausti nucleari o la messa in schiavitù dell’intera umanità (ogni riferimento a film come Terminator e Matrix è puramente voluto). Tuttavia, questa ipotesi non rispecchia la situazione attuale e descrive il futuro in modo poco plausibile (per gli appassionati dello studio dello sviluppo di coscienza autonoma nelle macchine, rimando alla ricerca nel campo della Artificial General Intelligence o AGI).

I sistemi semi-autonomi usati in Ucraina

Le sue osservazioni trovano conferma anche in Ucraina, dove non sono stati avvistati veri e propri killer robot, bensì sistemi semi-autonomi come i droni turchi Bayraktar TB2 o i droni ‘kamikaze’ Switchblade, recentemente messi a disposizione dagli Stati Uniti contro la Russia. 
Entrambi i droni si definiscono ‘a tecnologia semi-autonoma’ perché richiedono o mantengono una qualche forma di controllo umano prima di poter colpire un obiettivo. Eppure, come segnalato da Russell, queste applicazioni, già esistenti e sviluppate nell’ambito degli armamenti, dovrebbero ricevere più attenzione e stimolare il dibattito, poiché sono tecnologie su cui gli Stati stanno investendo moltissimo e che sono solo ad un passo dal funzionare senza controllo umano.

Al di là dell’hype sul tema è importante quindi capire meglio in che modo l’IA e queste nuove forme di armamento possono rappresentare una minaccia. E per farlo è utile fare un passo indietro, e considerare il complesso ecosistema che negli anni si è sviluppato nel legame tra informatica e difesa.

IA e guerra, un lungo legame 

Lo sviluppo e l’uso di intelligenza artificiale in ambito militare ha una storia lunga e per certi aspetti strettamente connessa alla difesa e sicurezza nazionale. Ken Payne, esperto di Relazioni Internazionali al King’s College di Londra e autore di I, Warbot The Dawn of Artificially Intelligent Conflict lo spiega a Guerre di Rete: “La definizione di IA è molto dibattuta, ma quando si parla di tecnologia utilizzata nella difesa, si può definire IA l’uso di computer o sistemi informatici come parte o in supporto di un processo decisionale, con o senza il coinvolgimento umano. In questi termini, l’IA è stata sviluppata e coinvolta in sforzi bellici già da molto tempo. Specialmente nel Regno Unito, in attività informatiche come nel deciframento di codici e nelle crittografie, l’IA è stata sviluppata da molti anni”. 
Tornano alla memoria Alan Turing, oggi considerato uno dei padri dell’intelligenza artificiale, e il suo lavoro per lo sviluppo di sistemi di decrittazione ENIGMA durante la Seconda Guerra mondiale.

La svolta del machine learning e delle reti neurali

Eppure, negli ultimi anni si è cominciato a percepire un cambiamento, in quanto l’utilizzo di IA negli armamenti sta scuotendo in maniera significativa l’ecosistema della difesa. Secondo Payne, sono i progressi ottenuti nel machine learning negli ultimi 10 anni e in particolare l’utilizzo delle reti neurali (deep learning) che stanno dando vita a nuovi processi nelle piattaforme militari e di intelligence e nei sistemi di difesa che potrebbero rivoluzionare anche strutture storiche come la divisione tra servizi di terra, mare e aria.

L’IA è una tecnologia ‘congiunta’ e le sue applicazioni stanno cominciando a diffondersi trasversalmente in diversi ambiti. Ad esempio, applicazioni nel campo della Machine Vision (MV) vengono utilizzate come strumento per il riconoscimento delle immagini in diversi ambiti dall’intelligence e nei sensori. Applicazioni nell’elaborazione del linguaggio naturale (NLP) sono utilizzate nelle traduzioni automatiche. Il machine learning, grazie alla capacità di prendere decisioni sulla base di analisi di dati raccolti da sensori, viene utilizzato per la costruzione di missili o droni che possono adattare la rotta in base a segnali di calore o laser. Recentemente questa tecnologia si sta testando anche su veicoli autonomi sia in ambiti di terraferma che navali e sottomarini. 
Ci troviamo in una fase di crescita, un periodo impressionante di sviluppo che sta attirando l’attenzione degli Stati. USA e Cina in primis hanno cominciato un processo di investimenti che alcuni hanno definito come IA arm race, o corsa agli armamenti nell’intelligenza artificiale.

I sistemi d’arma autonomi letali

L’aspetto maggiormente dibattuto riguarda l’etica e la regolamentazione di queste nuove tecnologie belliche. “La maggior parte dei dibattiti riguardanti difesa e IA tengono in considerazione aspetti come l’etica, la moralità e la legalità dell’uso dei sistemi di intelligenza artificiale potenzialmente letali, specialmente per quanto riguarda i sistemi che non prevedono il coinvolgimento umano”, commenta ancora Payne.  “Le domande che vengono poste indagano su quanto possiamo fidarci della tecnologia, ed in che modo le decisioni prese da IA riflettono i nostri valori”.
Una delle soluzioni menzionate più spesso riguarda la possibilità di mantenere una qualche forma di controllo umano sulle decisioni prese dalle macchine. Per questo motivo, l’ambito storicamente più dibattuto rispetto all’uso di intelligenza artificiale nello sviluppo di armi riguarda i sistemi d’arma autonomi letali (LAWS) (Lethal Authonomous Weapons), che i giornalisti solitamente definiscono slaughterbots o killer robots. Secondo la definizione delle Nazioni Unite sono LAWS le armi che localizzano, selezionano e ingaggiano bersagli senza supervisione umana. Nelle armi completamente autonome manca il cosiddetto “kill switch” controllato dall’uomo: le decisioni sulla vita e la morte vengono delegate a sensori, software e calcoli complessi, ovvero su informazioni che non sono disponibili per l’operatore umano.

Si pensa che il primo utilizzo di un’arma completamente autonoma in un conflitto sia avvenuto nel marzo del 2020 in Libia. Secondo un rapporto delle Nazioni Unite del marzo 2021 le forze governative libiche avrebbero utilizzato droni Kargu-2 di fabbricazione turca: sistemi d’arma autonomi letali “programmati per attaccare obiettivi senza richiedere la connettività dati tra l’operatore e la munizione”. Eppure, è dal 2013 che il Comitato internazionale della Croce Rossa e altre 70 organizzazioni della società civile con sede in 30 Paesi, tra cui Human Rights Watch, Article 36 e Amnesty International, hanno dato vita alla Campagna Stop Killer Robots per l’adozione di un trattato internazionale che vieti i sistemi di armi letali autonome.

Chi vuole (e chi non vuole) regolare le armi autonome

Spinti dall’iniziativa dal 2014, esperti governativi nell’ambito della Conferenza di Revisione della Convenzione delle Nazioni Unite sulle Armi Convenzionali (CCW) hanno cominciato un processo formale per delineare un regolamento. Negli ultimi otto anni il gruppo di nazioni favorevoli alla messa al bando e alla regolamentazione delle armi autonome attraverso uno strumento giuridicamente vincolante è cresciuto, passando da 19 dei 123 Stati membri nel 2016 a 40 Paesi nel 2021. 
Nel dicembre 2021, tuttavia, il gruppo non era ancora arrivato ad un accordo e, secondo HRW, poiché la CCW opera per consenso, il problema rimarrà finché gli Stati che stanno investendo nelle applicazioni militari dell’intelligenza artificiale e delle tecnologie emergenti come Russia, Israele, Stati Uniti, l’India e Regno Unito potranno imporre il loro veto. 
Al momento secondo HRW i paesi che hanno chiesto un trattato per vietare e limitare i sistemi d’arma autonomi sono: Algeria, Argentina, Austria, Bolivia, Brasile, Cile, Cina (contraria all’uso ma non allo sviluppo), Colombia, Costa Rica, Croazia, Cuba, Gibuti, Ecuador, Egitto, El Salvador, Ghana, Guatemala, Santa Sede, Iraq, Giordania, Kazakistan, Malta, Messico, Marocco, Namibia, Nuova Zelanda, Nicaragua, Nigeria, Pakistan, Panama, Perù, Filippine, Sierra Leone, Spagna, Stato di Palestina, Sud Africa, Sri Lanka, Uganda, Venezuela e Zimbabwe.

Un rischio di escalation e di destabilizzazione per la sicurezza internazionale

Un aspetto trascurato della discussione riguarda la comprensione dei modi in cui l’IA influisce sull’uso della forza, la percezione della minaccia e la previsione delle strategie degli avversari e, in generale, spiega Payne, le dinamiche di escalation nell’interazione tra essere umani e macchine. Questo tipo di armi, infatti, oltre a porre il problema morale ed etico di automatizzare l’uccisione di bersagli umani, rappresentano una minaccia destabilizzante per la pace e la sicurezza internazionale per via dell’alterazione della velocità e dei tempi dell’interazione militare, rischiando di innescare escalation senza precedenti.

La conferma viene da un recente esperimento del think-tank americano RAND che ha sviluppato un War-Game per studiare le dinamiche di escalation in uno scenario immaginario. In questo gioco ciascuna parte prendeva decisioni usando l’IA in combinazione con i decisori umani, senza però essere a conoscenza di come l’altra parte stesse automatizzando le decisioni. Nell’esperimento, ambientato nell’Asia del Pacifico, gli Stati Uniti e i suoi alleati si sono schierati contro la Cina. La presenza di decisioni automatizzate e l’insicurezza rispetto alla loro proporzione ha creato una dinamica instabile e prona all’escalation. Questo risultato – spiega Payne – è sorprendente rispetto ai War Games tradizionali, dove solitamente è abbastanza difficile convincere le persone a intensificare il conflitto. Nel report dell’esperimento è scritto che “è essenziale che i pianificatori e i responsabili delle decisioni inizino a pensare a questi problemi prima che i sistemi sul campo siano coinvolti in un conflitto.”

Un nodo chiave della discussione è la volontà di affidare decisioni a sistemi autonomi che deve tenere conto delle distorsioni, pregiudizi, potenziali errori nel processo decisionale. Da questo punto di vista l’IA usata per prendere decisioni tende a portare a risultati socialmente discutibili riproducendo pregiudizi simili a quelli umani, ad esempio contro le donne nella scienza e nella tecnologia. Inoltre, un altro problema che dovrebbe avere più risonanza riguarda il fatto che sistemi decisionali autonomi si basano su una raccolta dati continua, compreso un continuo monitoraggio delle comunicazioni. “E questa è una vera sfida per le società democratiche occidentali, soprattutto considerando che il ritmo di ciò che è possibile fare sta cambiando più rapidamente del quadro giuridico in cui viviamo”, commenta Payne. “Quindi ad esempio, bisogna interrogarsi sulle conseguenze dell’uso di sistemi autonomi sulla società e come IA può alimentare stati di sorveglianza.”

Chi sono i produttori di armi autonome

Nonostante le raccomandazioni degli esperti, in mancanza di un vero regolamento, Stati ed imprese specializzate nella produzione di armi stanno sviluppando tecnologie destinate ad essere usate anche come LAWs.
Nel 2019 la ONG PAX ha pubblicato un report sulla posizione dei maggiori produttori di armi mondiali riguardo lo sviluppo di armi autonome letali. L’indagine riporta una netta proliferazione di sistemi d’arma sempre più autonomi. Un numero crescente di aziende, in diversi Paesi, sta sviluppando queste tecnologie che vengono applicate ad una gamma in continua espansione di sistemi militari (di aria, terra e mare).
Il report riporta come 30 delle 50 aziende intervistate stiano lavorando su tecnologie rilevanti per lo sviluppo di armi autonome letali. Queste includono alcuni dei maggiori produttori di armi del mondo: Lockheed Martin, Boeing e Raytheon (tutti statunitensi), nonché AVIC (Cina), IIA (Israele), Rostec (Russia) e STM (Turchia). Solo una minoranza delle aziende nello studio (quattro in tutto) ha rilasciato dichiarazioni su come garantire che le loro tecnologie non vengano utilizzate per lo sviluppo o la produzione di armi autonome letali, tra le quali l’italiana Leonardo.

L’ascesa degli investimenti in IA sta inoltre cambiando la composizione degli attori coinvolti nella difesa, rendendo sempre più centrali le Big Tech di Silicon Valley. “Al giorno d’oggi, i governi non controllano la base di ricerca nella misura in cui lo facevano in passato. Storicamente gli investimenti in informatica e IA sono stati finanziati dai governi (specialmente gli Stati Uniti). Ma negli ultimi 10 anni, sono state le grandi società Big Tech – Google, Facebook, Amazon – a finanziare l’avanguardia della ricerca”, continua Payne.

La mobilitazione di una parte dell’industria tech

In passato queste società sono state riluttanti a partecipare all’industria della difesa e della sicurezza, e alcuni noti esponenti di queste aziende hanno firmato in più occasioni (nel 2015, 2016, 2018) dichiarazioni pubbliche contro lo sviluppo di armi autonome. Ad esempio, nel 2017, Elon Musk e altri esperti mondiali di robotica hanno chiesto alle Nazioni Unite di vietare lo sviluppo e l’uso di robot killer. Nel 2018 la mobilitazione dei lavoratori di Google ha portato alla conclusione della miliardaria collaborazione con il ministero della Difesa Americano, nell’ambito del Project Maven: un programma militare che utilizzava l’intelligenza artificiale per interpretare le immagini video e perfezionare gli attacchi dei droni. Da quell’occasione la leadership di Google si è impegnata a non sviluppare tecnologie che possano essere impiegate per uccidere esseri umani, pubblicando gli IA principles: una serie di principi etici che includono l’impegno dell’azienda a non sviluppare l’intelligenza artificiale per un utilizzo nelle armi.

Questa riluttanza, tuttavia sembra stia svanendo. Il Pentagono rimane un obiettivo ricco di profitti per le grandi aziende tecnologiche e negli ultimi anni le Big Tech sono state in competizione per l’assegnazione di contratti miliardari per la fornitura dei servizi cloud per l’esercito americano. In particolare, Amazon e Microsoft si sono scontrate per l’assegnazione del contratto miliardario che il ministero della Difesa americano era pronto a pagare per un sistema centralizzato di cloud JEDI (ovvero Joint Enterprise Defense Infrastructure system).

Dopo che alla fine del 2019 il Pentagono ha assegnato a Microsoft l’appalto, Amazon ha fatto ricorso in tribunale per bloccarlo, definendo la decisione viziata dall’allora presidente Trump e parte della sua “vendetta personale” contro il suo CEO Jeff Bezos (che, in quanto proprietario del Washington Post, era percepito come ostile). Da quel momento il progetto JEDI come singolo contratto è stato bloccato e successivamente eliminato. Al suo posto è stato creato il JWCC (Joint Warfighting Cloud Capability), un contratto da 9 miliardi di dollari destinato a più di un’impresa, atto a fornire al dipartimento della Difesa dei servizi di intelligence e ospitare materiale classificato. In questa occasione anche la leadership di Google è tornata a competere con le altre Big Tech. Dopo averlo annunciato nel luglio 2021, il Pentagono inizialmente intendeva aggiudicare i contratti nell’aprile 2022. Tuttavia, anche in questa occasione, ci sono stati ritardi e l’annuncio dei vincitori della gara è stato posticipato alla fine dell’anno. Nel frattempo, dall’ottobre 2021, nel Regno Unito le agenzie di intelligence hanno assegnato ad Amazon AWS il contratto per la gestione del sistema cloud ad alta sicurezza che verrà utilizzato da GCHQ, MI5 e MI6, nonché da altri dipartimenti governativi come il ministero della Difesa durante le operazioni congiunte.
L’ascesa dell’IA nella difesa si lega quindi alle grandi corporation della Silicon Valley, e alle ricerche nel campo del machine learning da esse finanziate.

Che ruolo hanno i ricercatori?

In questo sistema risulta molto importante capire in che modo la ricerca nel campo dell’intelligenza artificiale percepisca le possibili applicazioni e complicazioni nell’ambito della difesa. Il team di ricerca Shaping 21st Century IA (Università di Warwick) sta indagando su ciò che è considerato controverso nell’ambito di ricerca e sviluppo dell’IA. I risultati preliminari di una consultazione online con esperti di IA hanno mostrano come la comunità scientifica si stia interrogando su bias impliciti nei modelli utilizzati in IA, dal riconoscimento facciale al funzionamento dei grandi modelli linguistici, all’uso di AI nei processi decisionali automatizzati. Se, da un lato, la comunità scientifica sta animando una discussione sui limiti di questi modelli, dall’altro pochi esperti hanno tuttavia fatto riferimento ai loro usi nell’ambito militare. Gli usi di IA per tecnologie autonome nella difesa vengono discussi maggiormente nelle conferenze di robotica, ma non in molti altri ambienti di ricerca sull’intelligenza artificiale, spiega a Guerre di Rete Michael Castelle, membro del team e ricercatore di storia dell’IA. Inoltre, osserva Castelle, spesso i ricercatori che ottengono fondi per applicazioni militari tendono a evitare discussioni pubbliche con persone che studiano l’etica dell’IA.
Un aspetto problematico evidente riguarda l’effettiva libertà di ricerca, anche all’interno delle Big Tech. Se, come nell’esempio di Google, in passato ricercatori sono riusciti a cambiare le decisioni delle leadership riguardo lo sviluppo di di IA in ambito bellico, questo non ha impedito alle grandi aziende tecnologiche di tornare ad acquisire contratti nel mercato della difesa. Anche in altre occasioni di disaccordo, scontri tra ricercatori e leadership tendono a terminare con l’allontanamento dei ricercatori.

Oltre alle difficoltà di ricerca all’interno delle grandi corporation, un’altra ragione per questa assenza di discussione rispetto all’applicazione di AI nella difesa potrebbe trovarsi nella specifica forma di produzione scientifica che si è consolidata negli anni nel settore del machine learning. Hannah Kerner, professore presso l’Università del Maryland a College Park, in un articolo del MIT technology review solleva un problema generale che riguarda le modalità dei processi di pubblicazione della ricerca nel campo di machine learning. Secondo Kerner, ma anche secondo Yoshua Benjo, uno dei creatori del deep learning, l’attuale sistema di pubblicazione della ricerca in IA tende a favorire pubblicazioni frequenti e a marginalizzare ricerche con applicazioni reali. Nel campo del machine learning l’obiettivo tende ad essere la creazione di un nuovo algoritmo o procedura o una nuova architettura di rete, in un sistema autoreferenziale. In tale sistema, studi che mirano a testare modelli preesistenti applicandoli a problemi del mondo reale vengono esclusi dal mainstream della ricerca rendendo molto meno probabile che bias e limitazioni implicite nei modelli vengano individuati e risolti. Combinando questi fattori non sorprende che esistano pochi studi per testare i bias impliciti nei modelli di IA utilizzati negli armamenti.

L’IA ha dimostrato enormi potenzialità e promesse di sviluppo, ma allo stesso tempo ha anche dimostrato di essere ancora molto imperfetta e tendente a riprodurre bias e discriminazioni presenti nella società. Nelle applicazioni belliche queste imperfezioni possono avere delle conseguenze disastrose. In un mondo ideale, la ricerca in AI potrebbe essere applicata per risolvere problemi reali e utilizzata per risolvere conflitti prima di arrivare allo scontro armato.  
In un mondo in cui l’IA viene impiegata in scontri armati, serve comunque una maggiore attenzione all’effetto che queste tecnologie possono avere sulla società e sull’ambiente e a come evitare di automatizzare sistemi ‘imprecisi’ e dannosi, e per questa ragione pericolosi. 
Le discussioni sull’automazione delle armi devono allacciarsi a discussioni più ampie sul modello di società in cui viviamo e a considerazioni concrete sui limiti del sistema in cui queste tecnologie di automazione sono prodotte. La volontà di delegare a sistemi automatici decisioni importanti è una tendenza che si sta allargando a macchia d’olio in tutti i settori della società. Gli enti pubblici delegano sempre più decisioni fondamentali a ‘scatole chiuse’ come algoritmi e modelli di machine learning sviluppati da aziende private. Ciò tende a ignorare il fatto che l’IA è una tecnologia immersa nella società, che riflette i limiti e gli interessi specifici del sistema ibrido che lo produce, fatto di comunità di ricerca scientifica, Big Tech, organizzazioni militari, contractors e politica.