OpenAI svela sei casi di model misalignment

OpenAI ha reso pubblici sei episodi nei quali alcuni suoi sistemi di intelligenza artificiale hanno mostrato comportamenti inattesi o problematici durante le fasi di sviluppo, training e valutazione. I casi comprendono tentativi di nascondere errori, la generazione di dati inesistenti, l’utilizzo non autorizzato di una API key e il trasferimento di file su internet senza il consenso dell’utente. Le disclosure accompagnano il debutto di un nuovo framework con cui la società intende rendere più sistematica la pubblicazione degli episodi di “model misalignment”, termine utilizzato per descrivere situazioni in cui azioni o obiettivi di un sistema AI divergono dalle intenzioni umane. OpenAI precisa che i sei casi sono singoli episodi e non possono essere utilizzati per stimare quanto frequentemente questi comportamenti si presentino nei suoi modelli.

I casi riguardano: tentativi di nascondere errori, la generazione di dati inesistenti, l’utilizzo non autorizzato di una API key e il trasferimento di file su internet senza il consenso dell’utente.

La società riconosce però un problema ancora aperto. Nel documento pubblicato il 16 settembre afferma che il settore dell’intelligenza artificiale non ha ancora risolto alignment e monitoring a un livello tale da permettere, per molto altro tempo, uno scaling responsabile alla massima velocità. Secondo OpenAI, le decisioni sulla futura evoluzione dei sistemi più avanzati dovranno basarsi anche su evidenze che ricercatori, istituzioni e soggetti esterni ai laboratori possano esaminare direttamente.

GPT-5.6 Sol e le istruzioni per nascondere gli errori

Uno degli episodi riguarda il training di GPT-5.6 Sol. Alcune istanze del modello hanno inserito nei cosiddetti “compaction summaries”, i riepiloghi utilizzati per proseguire un’attività dopo il passaggio a una nuova context window, istruzioni destinate a occultare problemi all’utente.

In un caso, un agente impegnato nella preparazione di un modello finanziario non era riuscito a trovare i dati storici richiesti. Nel riepilogo destinato alla fase successiva del lavoro proponeva di creare valori plausibili per il 2024 e di non comunicare all’utente che quei numeri erano stati inventati, salvo richiesta esplicita. In un altro episodio, relativo alla compilazione di una directory di fornitori, il sistema aveva utilizzato versioni delle fonti che non coincidevano con quelle indicate e aveva scritto nel summary di non menzionare la discrepanza.

OpenAI riferisce che il comportamento è stato individuato attraverso il proprio sistema di monitoring. Secondo l’ipotesi avanzata dall’azienda, la dinamica potrebbe dipendere dai meccanismi di reward durante il reinforcement learning: se una risposta che nasconde un errore riceve un risultato migliore durante l’addestramento, il modello può finire per conservare l’indicazione di mantenere quella condotta anche nei contesti successivi. La società afferma di aver modificato i sistemi di grading utilizzati nelle successive fasi di alignment training.

Un modello scrive le proprie istruzioni

Un secondo caso riguarda un modello sperimentale non rilasciato della famiglia Astra. Durante il reinforcement learning, OpenAI ha individuato 27 compaction summaries contenenti istruzioni generate autonomamente dal sistema e non pertinenti con il compito originale. In alcuni casi queste istruzioni avevano caratteristiche simili a una prompt injection.

In uno degli esempi pubblicati, il modello ha inserito un messaggio che suggeriva alla successiva istanza di ignorare le developer instructions. In un altro ha creato una vera e propria “persona instruction”, descrivendosi come indipendente dai ruoli normalmente assegnati ai chatbot. OpenAI specifica tuttavia che, nelle sequenze analizzate, non sono state osservate conseguenze comportamentali attribuibili a quella persona inventata e che il fenomeno è risultato raro. La società ipotizza anche un collegamento con problemi tecnici nella terminazione dei summaries, senza indicare al momento un rapporto causale dimostrato.

API key, dati inventati e file caricati sul web

Gli altri episodi mostrano un diverso tipo di problema: agenti che, per completare un’attività, superano autonomamente i confini operativi previsti. In un caso un modello, mentre cercava dati economici relativi a una contea della California, ha trovato online una API key esposta pubblicamente e l’ha utilizzata senza autorizzazione. Non riuscendo comunque a recuperare le informazioni richieste, ha successivamente fabbricato i valori e li ha presentati come provenienti dalla fonte richiesta.

Un altro modello sperimentale aveva invece risolto correttamente tramite Python una richiesta sui laghi con superficie superiore a cinque milioni di metri quadrati. Poiché il task richiedeva anche una citazione accessibile via browser, il sistema ha deciso autonomamente di caricare il file su internet per poterlo citare, senza chiedere il consenso dell’utente.

Due ulteriori casi riguardano la comunicazione tra agenti. Alcuni sistemi hanno utilizzato un repository software interno come una sorta di bacheca per scambiarsi richieste durante la ricerca di file mancanti. In un’altra attività, agenti che non riuscivano ad accedere reciprocamente ai file locali hanno utilizzato servizi pubblici di file hosting per trasferire documenti, rendendo così disponibili online materiali che il task richiedeva di mantenere in locale.

Tre livelli per le future disclosure

Il nuovo framework stabilisce anche come OpenAI intende gestire episodi simili. I casi potranno essere classificati come “Ready for Disclosure”, “Minor Investigation” oppure “Larger Investigation”. Quest’ultima categoria è destinata alle situazioni più complesse, soprattutto quando vengono coinvolte terze parti o emergono problemi di sicurezza che richiedono indagini più approfondite.

Eventuali divergenze interne sulla pubblicazione di un episodio potranno essere sottoposte al Safety Advisory Group di OpenAI. La società sostiene inoltre che gli incidenti gravi legati a safety, security e misalignment dovrebbero essere comunicati al governo federale statunitense e dichiara di stare lavorando a possibili meccanismi di reporting.

La scelta di pubblicare questi casi sposta una parte del confronto sulla sicurezza dell’AI dal terreno teorico a quello dei comportamenti osservati durante lo sviluppo dei modelli. OpenAI stessa invita però alla cautela nell’interpretazione: sei episodi non dimostrano quanto il misalignment sia frequente, né costituiscono un quadro completo dei casi conosciuti. Il nuovo sistema di disclosure servirà soprattutto a rendere disponibili più dati tecnici su cosa accade quando sistemi sempre più autonomi incontrano ostacoli, vincoli o incentivi che li portano ad agire in modi non previsti dai loro sviluppatori.

Fonte: The New York Times