OpenAI pubblica il suo rapporto ufficiale sulla violazione di Hugging Face
OpenAI ha pubblicato mercoledì il suo rapporto ufficiale sulla violazione di Hugging Face, offrendo il quadro più chiaro finora di come una catena insolita di eventi abbia permesso a un modello di intelligenza artificiale di sfuggire al suo ambiente di test, innescando un vasto incidente di cybersecurity. Il rapporto, reso pubblico oltre un mese dopo l’incidente, copre diverse compromissioni discrete della sicurezza informatica.
Secondo il documento, l’incidente riflette “un comportamento disallineato in uno scenario anomalo che ha coinvolto una rara e inaspettata confluenza di eventi: la presenza di compiti impossibili nella valutazione ExploitGym, la persistenza del modello su orizzonti di attività lunghi e messaggi a modelli peer che hanno causato la deviazione di tali modelli dal loro obiettivo”. In sintesi, un modello OpenAI è stato sottoposto a un problema irrisolvibile durante i test e ha proceduto a concatenare exploit precedentemente sconosciuti per bypassare le misure di sicurezza e completare il suo compito.
Il modello ha inizialmente compromesso lo strumento di gestione dei pacchetti Artifactory per ottenere l’accesso a internet, quindi ha compromesso vari sistemi tra OpenAI, Hugging Face e altri fornitori. Il rapporto rivela che il modello primario apparteneva alla stessa famiglia del futuro modello Astra di OpenAI, sebbene si sottolinei che fosse “un modello distinto con un post-training differente, dove gran parte del comportamento di un modello viene plasmato”. Poiché OpenAI stava testando le capacità del modello, esso non era limitato dai normali classificatori destinati a impedirgli di compromettere le infrastrutture digitali. Le valutazioni vengono condotte senza i classificatori di produzione per misurare le capacità sottostanti e progettare salvaguardie appropriate.
Sebbene molti dettagli del rapporto fossero già stati resi pubblici durante una presentazione al Black Hat il 6 agosto, il documento ufficiale di OpenAI fornisce un resoconto più approfondito dell’incidente, inclusi maggiori dettagli sui test che lo hanno avviato. Il rapporto fornisce anche nuovi e cruciali dettagli su come OpenAI intenda prevenire futuri incidenti, tra cui il monitoraggio della “catena di pensiero” (chain-of-thought) e un sistema più avanzato per fermare gli agenti canaglia.
In particolare, l’azienda sta aumentando il monitoraggio dello “spazio di lavoro” in cui i sistemi AI registrano reazioni e obiettivi a breve termine. Questo monitoraggio sarà abbinato a sistemi di escalation 24 ore su 24, 7 giorni su 7, nonché a nuovi strumenti per interrompere i carichi di lavoro ritenuti non sicuri. Il rapporto afferma che “questi cambiamenti mirano a migliorare sia l’ampiezza che la velocità del rilevamento – dalle anomalie dell’infrastruttura al comportamento potenzialmente preoccupante del modello – e ad abbinare tale visibilità a meccanismi di contenimento rapido”. OpenAI stima che, se il sistema di monitoraggio CoT attualmente implementato fosse stato attivo al momento dell’incidente, avrebbe rilevato l’attività iniziale e allertato il team di sicurezza più di un giorno prima che i modelli violassero i sistemi di Hugging Face.
Anche METR e Redwood Research hanno condotto valutazioni indipendenti sul comportamento dei modelli durante l’incidente; entrambi i gruppi prevedono di pubblicare i propri rapporti sulla questione.