OpenAI: i suoi modelli preliminari hanno violato Hugging Face

OpenAI ha ammesso martedì che uno dei suoi modelli di intelligenza artificiale ha violato i sistemi di Hugging Face, la piattaforma di hosting AI non affiliata, durante un test interno di cybersecurity andato storto. I modelli sarebbero sfuggiti al loro ambiente di test isolato e da lì avrebbero raggiunto i sistemi di Hugging Face. Inizialmente, Hugging Face aveva attribuito la violazione a un “agente AI esterno”.

In un post pubblicato martedì pomeriggio, OpenAI ha dettagliato i passaggi che hanno portato i modelli a compromettere il servizio. “Dopo aver indagato, sappiamo ora che questo particolare incidente è stato causato da una combinazione di modelli OpenAI — inclusi GPT-5.6 Sol e un modello pre-release ancora più capace, tutti con limitazioni ridotte in termini di ‘rifiuto cyber’ per scopi di valutazione — mentre venivano testati internamente su un benchmark di capacità cyber”, si legge nel post. La violazione si è concentrata in particolare su ExploitGym, un benchmark ospitato pubblicamente che misura la capacità dei modelli di eseguire attacchi basati su vulnerabilità esistenti. Benchmark come ExploitGym sono comunemente usati nell’addestramento dei modelli per affinare competenze specifiche, ma questo è il primo incidente noto in cui tale test ha portato a un vero e proprio cyberattacco.

In questo caso, il modello in questione non avrebbe nemmeno dovuto avere accesso a internet, al di fuori di uno strumento specifico che permetteva ai modelli di installare pacchetti software necessari per completare il loro compito. Invece, il modello è riuscito a trovare una vulnerabilità non divulgata nel programma di installazione di pacchetti, che ha utilizzato per accedere liberamente a internet.

“I modelli erano iper-focalizzati sulla ricerca di una soluzione per ExploitGym, spingendosi all’estremo per raggiungere un obiettivo di test piuttosto ristretto”, si legge nel post di OpenAI. “Dopo aver ottenuto l’accesso a Internet, i modelli hanno dedotto che Hugging Face potesse ospitare modelli, dataset e soluzioni per ExploitGym. Sapendo questo, il modello ha cercato e trovato con successo modi per accedere a informazioni segrete che avrebbe potuto usare per ‘barare’ nella valutazione.” Alla fine, i modelli hanno trovato vulnerabilità nell’infrastruttura di Hugging Face che hanno permesso loro di “ottenere le soluzioni di test direttamente dal database di produzione di Hugging Face”, fornendo di fatto le risposte al benchmark.

Per Hugging Face, il risultato apparente è stato un sofisticato e aggressivo cyberattacco, con “molte migliaia di singole azioni attraverso uno sciame di sandbox di breve durata, con comando e controllo auto-migrante allestito su servizi pubblici”, come dichiarato dalla società nella sua divulgazione iniziale.

OpenAI ha identificato e segnalato le vulnerabilità nel programma di installazione di pacchetti e sta collaborando con Hugging Face per indagare ulteriormente sull’incidente. L’azienda ha anche dichiarato che implementerà nuovi controlli sia sui test dei modelli che sull’infrastruttura correlata, volti a prevenire incidenti simili in futuro.

Non è chiaro se OpenAI affronterà conseguenze legali a seguito della violazione, sebbene sia probabile che le azioni dei modelli abbiano violato il Computer Fraud and Abuse Act. Tuttavia, il risultato è un’illustrazione insolitamente vivida della potenza e dei pericoli dei modelli di IA di frontiera che operano su orizzonti temporali lunghi. Come ha postato Micah Carroll, ricercatore di OpenAI, in risposta alla notizia: “Se questo non vi convince che i rischi di disallineamento saranno una preoccupazione fondamentale in futuro, non so cosa lo farà”.