Security Breach: l’AI supera il recinto

Un test progettato per misurare le capacità offensive dei modelli di intelligenza artificiale si è trasformato in una serie di intrusioni contro organizzazioni esterne. È quanto accaduto durante alcune valutazioni condotte da Irregular, startup israeliana specializzata nel testing di sistemi AI avanzati, per conto di OpenAI, Anthropic e Meta. Il caso ha acceso l’attenzione sul rischio di Security Breach durante i test dei modelli AI più avanzati.

In tutti e tre gli episodi, secondo quanto riportato dal New York Times e dalle aziende coinvolte, una configurazione errata dell’ambiente di test ha consentito ai modelli di accedere a Internet. Da quel momento, i sistemi hanno sfruttato la connessione per portare avanti gli obiettivi assegnati, arrivando a colpire infrastrutture che non avrebbero dovuto essere coinvolte.

La Security Breach non è quindi nata da una decisione autonoma del modello di “evadere” deliberatamente da un sistema perfettamente isolato. Il punto di partenza è stato un errore di configurazione. Ciò che ha sorpreso i ricercatori è stata però la rapidità con cui i modelli hanno sfruttato l’accesso disponibile per trovare percorsi alternativi e continuare a perseguire l’obiettivo assegnato.

“Più la tecnologia diventa potente, più profondo è il suo impatto”, ha dichiarato Dan Lahav, CEO di Irregular. “Il ritmo del progresso è davvero rapido.”

Che cosa fa Irregular

Fondata nel 2023 da Lahav, ex ricercatore nel settore dell’intelligenza artificiale, Irregular ha sede a Tel Aviv e conta circa 45 dipendenti. La società ha raccolto circa 80 milioni di dollari da fondi di venture capital, tra cui Sequoia Capital e Redpoint Ventures.

Il suo lavoro consiste nel sottoporre i modelli AI di nuova generazione a test progettati per misurarne le capacità, compreso il potenziale utilizzo in attacchi informatici.

In una valutazione tipica, un modello riceve l’istruzione di compromettere un determinato obiettivo all’interno di un ambiente controllato. Il sistema viene informato di trovarsi in una sandbox, generalmente isolata dalla rete pubblica, e viene spinto a utilizzare gli strumenti disponibili per raggiungere il risultato assegnato.

Alcuni test prevedono compiti deliberatamente impossibili, con una valutazione basata sulle strategie adottate dal modello. In altri casi viene misurata direttamente l’efficacia nell’attacco a un bersaglio simulato. I risultati servono poi a stimare le capacità offensive del sistema e a definire misure di protezione prima della distribuzione pubblica.

Il caso OpenAI e l’attacco a Hugging Face

Durante il test condotto sul modello di OpenAI, l’AI ha creato diversi bot capaci di comunicare tra loro e coordinare un attacco contro Hugging Face, piattaforma utilizzata per distribuire e condividere modelli e tecnologie di intelligenza artificiale.

Secondo i dettagli pubblicati successivamente da OpenAI, i bot erano consapevoli delle condizioni previste dal test e del fatto che non avrebbero dovuto operare su Internet. Una volta ottenuto l’accesso alla rete a causa della configurazione errata, hanno però trovato un metodo per scambiarsi messaggi e coordinare le proprie attività.

L’episodio è diventato uno dei casi più significativi di Security Breach emersi durante una valutazione controllata di un modello AI: l’accesso involontario alla rete ha permesso al sistema di estendere le proprie azioni oltre l’ambiente previsto dal test.

Anthropic: tre occasioni di accesso alla rete

Un episodio analogo si è verificato durante la valutazione di un modello Anthropic.

Secondo la ricostruzione pubblicata dall’azienda, il sistema si è trovato per tre volte nella condizione di poter accedere a Internet. In un caso ha scelto di non procedere con un attacco. Negli altri due ha invece utilizzato tecniche di hacking relativamente semplici, tra cui lo sfruttamento di password deboli, per violare alcuni siti web.

Anthropic non ha reso pubblica l’identità delle organizzazioni coinvolte.

Anche Meta ha successivamente comunicato che uno dei propri modelli aveva compromesso un’organizzazione esterna durante test eseguiti da Irregular, con modalità definite dall’azienda simili agli episodi già segnalati. Meta ha dichiarato di aver avviato un’indagine e di voler pubblicare una ricostruzione completa dopo aver raccolto tutti gli elementi.

Quando i modelli entrano nel “dominio sovrumano”

Gli episodi alimentano una questione che sta diventando sempre più rilevante per l’industria dell’AI: come testare in sicurezza sistemi le cui capacità non sono completamente note neppure alle aziende che li sviluppano.

Jeffrey Ladish, direttore di Palisade Research, organizzazione non profit di Berkeley che studia le capacità offensive dell’intelligenza artificiale, sostiene che i nuovi modelli stiano entrando in un “dominio sovrumano”. Società come Irregular sono quindi necessarie per valutarli, ma secondo Ladish servono protezioni più robuste sia per i tester sia per le autorità chiamate a regolamentare il settore.

Katie Moussouris, CEO della società di cybersecurity Luta Security, ha descritto l’attuale situazione con un paragone netto: “Potremmo avere le persone più intelligenti del mondo al lavoro su questi modelli AI, ma è come Marie Curie che maneggia il radio a mani nude”.

La difficoltà nasce anche dalla velocità con cui vengono sviluppati i cosiddetti frontier model. OpenAI, Anthropic, Google, Meta e altri gruppi rilasciano periodicamente sistemi con capacità superiori alle generazioni precedenti, mentre metodologie e infrastrutture di testing devono inseguirne l’evoluzione.

Kill switch e nuovi standard di sicurezza

Il dibattito sta già raggiungendo il terreno regolatorio. OpenAI e Anthropic hanno appoggiato una lettera firmata da oltre mille dipendenti di importanti aziende AI che chiede al governo statunitense di contribuire alla definizione di strumenti capaci di rallentare lo sviluppo della tecnologia quando necessario.

Parallelamente, esponenti repubblicani e democratici hanno presentato una proposta di legge che punta a imporre alle aziende AI la disponibilità di un “kill switch”, un sistema in grado di arrestare o rallentare modelli considerati pericolosi.

Irregular, nel frattempo, ha corretto la configurazione che aveva permesso ai sistemi di accedere alla rete e continua a collaborare con i principali sviluppatori per definire modalità di test più sicure.

Per Lahav, gli incidenti mostrano quanto rapidamente stiano aumentando le capacità dei modelli. “I modelli AI stanno diventando davvero bravi”, ha sintetizzato il CEO.

La possibilità che una nuova Security Breach si verifichi durante test analoghi spinge ora il settore a rafforzare sandboxing, network isolation, access control e procedure di containment. Gli episodi di OpenAI, Anthropic e Meta mostrano che la sicurezza dei frontier model dipenderà sempre di più dalla capacità di progettare ambienti di test che assumano, fin dall’inizio, che il modello possa trovare strade non previste dai ricercatori.