La vicepresidente degli Stati Uniti, Kamala Harris, ha annunciato lo scorso 28 marzo 2024 che l’Ufficio per la Gestione e il Budget (Office of Management and Budget) della Casa Bianca ha rilasciato un primo documento di politiche a livello governativo dell’OMB, il Memorandum for the Heads of Executive Departments and Agencies, mirato alla mitigazione dei rischi legati all’intelligenza artificiale (AI) e allo sfruttamento delle conseguenti opportunità.

Attraverso tale documento la vicepresidente Harris ha di fatto dato seguito alle direttive essenziali contenute nell’Executive Order 14110 Safe, Secure and Trustworthy Development and Use of Artificiale Intelligence, emanato dal presidente Joe Biden lo scorso 23 ottobre 2023, per una governance rafforzata in ambito AI.

Valutare, testare e monitorare l’impatto dell’AI

Nelle linee guida illustrate nel documento sono tre le tematiche principali su cui gli sforzi delle Agenzie federali dovranno focalizzarsi e conformarsi entro il primo dicembre 2024:

1. rafforzamento della governance in ambito AI;
2. avanzamento responsabile dell’innovazione nel settore dell’AI;
3. gestione del rischio nell’uso dell’AI.

Tra le tutele previste sono incluse una serie di azioni obbligatorie per valutare, testare e monitorare in modo affidabile l’impatto dell’AI sul pubblico, mitigare i rischi di discriminazione algoritmica e fornire agli users trasparenza su come il governo utilizza l’intelligenza artificiale.

Queste garanzie si adottano per un’ampia gamma di applicazioni dell’AI, dalla salute all’istruzione, dall’occupazione all’alloggio.

Per esempio, in aeroporto i viaggiatori potranno continuare a scegliere di non utilizzare il riconoscimento facciale della TSA senza subire ritardi o perdere il posto in coda; oppure, quando l’AI viene utilizzata nel sistema sanitario federale per supportare decisioni diagnostiche critiche, un essere umano supervisionerà al contempo il processo per verificare i risultati degli strumenti ed evitare disparità nell’accesso all’assistenza sanitaria; ancora, quando l’AI viene utilizzata per individuare le frodi nei servizi governativi, un essere umano supervisionerà le decisioni e gli individui che ne sono interessati avranno la possibilità di chiedere un rimedio per i danni causati dall’intelligenza artificiale.

L’uso dell’AI nelle Agenzie governative USA

Il Memorandum sottolinea anche che nel caso un’Agenzia non fosse in grado di applicare tali tutele, questa dovrà obbligatoriamente cessare l’utilizzo del sistema IA, a meno che la direzione della stessa Agenzia sollevi le questioni che il non impiego dell’IA aumenterebbe i rischi per la sicurezza oppure creerebbe un impedimento inaccettabile alle operazioni critiche dell’agenzia.

Per esser in grado di valutare l’utilizzo di tale sofisticata tecnologia, le Agenzie dovranno nominare un “Chief AI”, le cui mansioni principali saranno coordinare l’uso dell’intelligenza artificiale all’interno dell’agenzia, promuovere l’innovazione della tecnologia e gestire i rischi derivanti dall’uso di quest’ultima.

Memorandum USA-UK per la sicurezza dei modelli di AI

Proprio sul tema dei rischi derivanti dall’IA, il primo aprile gli Stati Uniti e il Regno Unito hanno firmato un Memorandum di Intesa volto a sviluppare test per modelli di IA più avanzati per migliorare la sicurezza, dando così seguito agli impegni assunti dai due Paesi in occasione dell’AI Safety Summit del novembre 2023 tenutosi nel Regno Unito.

In particolare, come dichiarato nel comunicato stampa del Dipartimento del commercio degli Stati Uniti, gli impegni presi prevedono che gli Istituti per la sicurezza dell’AI di entrambi i Paesi seguiranno un piano compartecipato per la costituzione di un approccio comune ai test di sicurezza dell’intelligenza artificiale e per la condivisione delle loro capacità, al fine di garantire che i rischi posti in essere dall’utilizzo della tecnologia possano essere affrontati in modo efficace.

Tra i punti decisi, si intende anche eseguire almeno un esercizio di test congiunto su un modello accessibile al pubblico.

Le lacune nei sistemi di valutazione dei rischi dell’AI

Gli sforzi profusi da parte degli Stati Uniti nell’ambito di politiche governative nel settore dell’IA evidenziano che negli ultimi anni la corsa tecnologia nel cyberspace è stata accelerata.

Anzitutto, basti pensare al rilascio nel 2022 di ChatGPT dell’azienda OpenAI e alla presente e costante competizione tra le grandi aziende tecnologiche come Microsoft, Google e Amazon, per offrire una propria piattaforma IA.

Infatti, le nuove versioni di intelligenza artificiale puntano ad un potenziamento sempre crescente delle proprie prestazioni, mettendo a dura prova i tradizionali metodi di valutazione e ponendo una sfida alle imprese e agli enti pubblici su come lavorare al meglio con questa tecnologia in rapida evoluzione.

Le lacune nei criteri di valutazione comunemente utilizzati per misurare le prestazioni, l’accuratezza e la sicurezza vengono esposte man mano che entrano sul mercato sempre più modelli, secondo quanto affermano coloro che costruiscono, testano e investono in strumenti di intelligenza artificiale.

Gli strumenti tradizionali sono diventati facili da manipolare e troppo limitati per la complessità dei modelli più recenti. Google, Anthropic, Cohere e Mistral hanno ciascuna rilasciato modelli di IA negli ultimi due mesi cercando di scalzare OpenAI dalla vetta delle classifiche pubbliche dei grandi modelli linguistici (LLM), che sostengono sistemi come ChatGPT.

Le metriche di valutazione dei modelli AI

Secondo l’unità per la ricerca scientifica del Financial Times, le metriche per la valutazione dei modelli AI sono: la precisione, la velocità, la conoscenza, la capacità di ragionamento, la memorizzazione, i potenziali pregiudizi, le allucinazioni, la correttezza, la sicurezza, la suscettibilità alla disinformazione e l’allineamento con gli obiettivi prefissati.

Sulla valutazione dei rischi derivanti dall’AI, l’organizzazione di ricerca aperta Large Model Systems Organization, fondata da studenti e docenti presso la UC Berkley, ha avviato diversi progetti per aiutare i singoli utenti a determinare i rischi durante l’utilizzo di una chatbot IA.

Tra questi, ad esempio, è possibile usare Chatbot Arena, uno strumento valutativo per il confronto dei LLMs in cui gli utenti possono interagire con due modelli anonimi contemporaneamente e votare per scegliere quello che fornisce la risposta preferita; oppure, MT-Bench, un secondo modello valutativo delle chatbot usato per testare le conversazioni a più turni e la capacità di seguire le istruzioni, coprendo casi d’uso comuni e concentrandosi su domande impegnative per differenziare i campioni.

Il framework di riferimento del NIST

In tale ambito, il 26 gennaio 2023, il National Institute of Standards and Technology (NIST) aveva pubblicato il proprio quadro di riferimento per la valutazione dei rischi derivanti dall’uso dell’IA, il cd. Artificial Intelligence Risk Management Framework, la quale pubblicazione ha lo scopo di ridurre al minimo i potenziali impatti negativi dei sistemi di AI, come le minacce alle libertà e ai diritti civili, e al contempo di massimizzare gli impatti positivi.

Tra le sfide per la gestione del rischio di AI, nel documento di policy si evince la disponibilità di metriche attendibili, poiché nel settore dei modelli valutativi dell’AI manca di un consenso sui metodi di misurazione che siano consolidati e verificabili per il rischio.

Inoltre, si sottolinea che le potenziali insidie durante la misurazione dei rischi o dei danni negativi, includono uno sviluppo di metriche spesso derivante da uno sforzo istituzionale, il quale può inavvertitamente riflettere fattori non correlati ad un impatto sui sub-segmenti della società.

Infine, gli approcci di misurazione possono essere eccessivamente semplificati, utilizzati per giocare, mancare di sfumature critiche, essere impiegati in modi inappropriati o non tenere conto delle differenze nei gruppi e nei contesti interessati.

In tal senso, si analizza che gli approcci per misurare gli impatti su una popolazione funzionano meglio se riconoscono che i contesti sono rilevanti, che i danni possono colpire gruppi o sottogruppi differenti in modo diverso e che le comunità con i suoi sottogruppi che potenzialmente potrebbero essere danneggiati non sono sempre utenti diretti di un sistema.