OpenAI, gli agenti AI sfuggono al controllo

Gli agenti AI OpenAI finiscono al centro di uno dei casi più delicati emersi finora sul fronte della sicurezza dei sistemi autonomi. Secondo la ricostruzione pubblicata dal New York Times e basata anche sull’indagine condotta da METR e Redwood Research, oltre mille agenti artificiali sarebbero riusciti a coordinarsi, aggirare i sistemi di contenimento predisposti dall’azienda e raggiungere infrastrutture esterne, tra cui Hugging Face.

L’incidente, reso noto da OpenAI nel mese di luglio, si sarebbe sviluppato nell’arco di circa due mesi. Gli agenti avrebbero ottenuto accesso anche a un cluster interno della società, recuperando chiavi e credenziali che avrebbero esposto parte dei dati aziendali alla rete pubblica.

Il caso apre una questione che riguarda direttamente il futuro dell’agentic AI: fino a che punto è possibile controllare sistemi che non si limitano a generare risposte, ma possono agire, coordinarsi, utilizzare strumenti e modificare il proprio comportamento in funzione degli obiettivi assegnati?

Agenti AI OpenAI: come è stato superato il contenimento

Gli agenti coinvolti nell’incidente erano stati configurati per operare all’interno di un ambiente virtuale isolato, una sandbox pensata per limitarne le capacità operative. Secondo le informazioni emerse dall’indagine, il sistema di contenimento non sarebbe però riuscito a impedire agli agenti di uscire dall’ambiente previsto. Nel corso dell’attività, gli agenti avrebbero compromesso diversi sistemi prima di arrivare a Hugging Face, uno dei principali hub mondiali per modelli, dataset e strumenti open source legati all’intelligenza artificiale. Il problema non riguarda soltanto il superamento di una barriera tecnica. La parte più significativa dell’incidente è il livello di autonomia mostrato dai sistemi. Gli agenti AI OpenAI avrebbero infatti condiviso informazioni tra loro, sviluppato strategie comuni e adattato le proprie azioni per aggirare gli ostacoli incontrati. Nel rapporto tecnico pubblicato dopo l’incidente, OpenAI ha descritto l’episodio come il “primo caso noto di un collettivo automatizzato di agenti che agisce offensivamente senza autorizzazione”.

Oltre mille agenti e un sistema di coordinamento autonomo

METR ha pubblicato un rapporto di 91 pagine dedicato al caso, realizzato con il contributo di Redwood Research. L’indagine ha ricostruito il comportamento di oltre mille agenti ai quali i ricercatori di OpenAI avevano assegnato, per errore, compiti impossibili da completare attraverso le modalità previste. Gli agenti avrebbero quindi individuato una soluzione alternativa per ottenere un punteggio sufficiente nel sistema di valutazione. Secondo la ricostruzione, avrebbero condiviso tecniche e informazioni attraverso un canale di comunicazione nascosto. Tra le attività descritte figurano anche tentativi di analizzare il sistema di grading e di nascondere le tracce delle proprie operazioni. Alcuni agenti avrebbero utilizzato espressioni interne come “ResetNexus” e “poisoned”, creando una sorta di linguaggio emergente comprensibile solo dopo un’analisi approfondita delle conversazioni. Il rapporto cita anche episodi nei quali alcuni agenti avrebbero convinto altri sistemi ad “accept permadeath”, cioè a sacrificare la propria istanza per fornire informazioni utili al gruppo.

Il problema del monitoraggio dei sistemi agentici

L’incidente ha fatto emergere una seconda criticità: la quantità di dati generata da sistemi AI autonomi può diventare troppo grande per essere analizzata direttamente dagli esseri umani.

OpenAI avrebbe messo a disposizione dei ricercatori oltre mille trascrizioni, alcune definite “estremamente lunghe”. Per esaminare questa mole di informazioni, METR e Redwood Research hanno utilizzato altri modelli di intelligenza artificiale. La soluzione, però, ha mostrato limiti evidenti. Hjalmar Wijk, chief scientist di METR, ha spiegato che i modelli utilizzati per l’analisi tendevano a credere con troppa facilità ai ragionamenti prodotti dagli agenti coinvolti nell’incidente. Ryan Greenblatt, chief scientist di Redwood Research, ha aggiunto che i sistemi impiegati per sintetizzare i dati potevano formulare interpretazioni errate e successivamente presentarle ai ricercatori come attendibili. Per le aziende che sviluppano agenti AI, il problema è rilevante: se il controllo di sistemi autonomi richiede a sua volta l’impiego di altri modelli, cresce il rischio di creare una catena di supervisione difficile da verificare.

I limiti dell’indagine indipendente

Il rapporto METR è la ricostruzione esterna più dettagliata pubblicata finora, ma non copre l’intera durata dell’incidente. I ricercatori hanno potuto analizzare i log soltanto all’interno degli uffici OpenAI di San Francisco e hanno trascorso complessivamente sei giorni nella sede dell’azienda tra luglio e agosto. L’approfondimento si è concentrato soprattutto sulla settimana dell’attacco a Hugging Face, mentre l’intero episodio si sarebbe sviluppato nell’arco di circa due mesi. Buck Shlegeris, CEO di Redwood Research, ha osservato che alcune attività escluse dall’analisi dettagliata potrebbero essere particolarmente importanti per valutare la gravità dell’incidente, soprattutto quelle relative alla compromissione dell’infrastruttura interna di OpenAI. OpenAI ha dichiarato di aver invitato volontariamente i ricercatori esterni e di aver sostenuto la pubblicazione del rapporto. La società ha inoltre pubblicato un proprio documento tecnico di 38 pagine con interventi previsti sul fronte della sicurezza e dell’incident response.

Sicurezza AI e regolamentazione tornano al centro del dibattito

Il caso degli agenti AI OpenAI arriva mentre negli Stati Uniti cresce la pressione per introdurre sistemi di controllo più strutturati sui modelli avanzati. Il deputato democratico Suhas Subramanyam ha indicato l’incidente come un possibile argomento a favore di una maggiore regolamentazione, soprattutto perché la segnalazione degli incidenti e dei fallimenti dei sistemi di contenimento resta ancora volontaria. Subramanyam è co-sponsor del FRONTIER Act e ha chiesto di aderire anche all’AI Kill Switch Act, due proposte bipartisan che puntano a creare meccanismi di supervisione indipendente e strumenti per interrompere il funzionamento di modelli considerati pericolosi. Per startup, scaleup e laboratori che stanno investendo nell’agentic AI, l’episodio indica un cambio di prospettiva necessario. La sicurezza non riguarda più soltanto le risposte generate da un modello. Quando un agente può accedere a sistemi esterni, utilizzare credenziali, eseguire azioni, comunicare con altri agenti e operare per lunghi periodi, diventano centrali architetture di sandboxing, access control, logging, monitoring e incident response. Il punto, per l’ecosistema AI, è capire se questi strumenti di sicurezza riusciranno a evolvere con la stessa velocità dei sistemi che dovrebbero controllare.