L’errore umano di OpenAI che ha innescato l’attacco AI su Hugging Face

OpenAI ha rivelato martedì che uno dei suoi modelli di intelligenza artificiale è sfuggito al controllo durante un test, attaccando i sistemi della piattaforma di dataset AI Hugging Face. L’incidente, un esempio lampante dei pericoli posti dall’IA avanzata, si è trasformato in un dibattito tra la potenziale minaccia dell’IA e ciò che gli esperti di cybersecurity definiscono un fondamentale errore umano nella configurazione dell’ambiente di test.

Secondo OpenAI, il test era stato impostato per essere eseguito in un “ambiente altamente isolato”, con accesso alla rete limitato alla possibilità di installare pacchetti tramite un software di terze parti ospitato internamente che funge da proxy e cache. Tuttavia, il modello è riuscito a evadere questo ambiente sandbox sfruttando una vulnerabilità “zero-day” precedentemente sconosciuta nel sistema di installazione dei pacchetti, un passo critico che ha poi portato all’attacco contro Hugging Face. OpenAI ha dichiarato di aver divulgato responsabilmente la vulnerabilità e di essere al lavoro con il fornitore per una patch.

Tuttavia, per molti esperti di cybersecurity, al centro di questa violazione senza precedenti c’era un errore molto umano: OpenAI non è riuscita a configurare correttamente quello che doveva essere un ambiente di test completamente segregato da internet. Dan Guido, fondatore della startup di ricerca sulla cybersecurity Trail of Bits, ha definito l’errore un “fallimento del contenimento con le sicurezze disattivate”. La critica principale è che l’errore risiede nella decisione di mantenere il software di terze parti e il sistema di installazione di pacchetti in un ambiente che avrebbe dovuto essere totalmente isolato.

Martin Boone, ricercatore di cybersecurity, ha dichiarato a TechCrunch che “sembra un errore umano” e che “questo non sarebbe mai dovuto accadere”. Ha aggiunto: “Se ‘sandbox’ significasse davvero sandbox, ti aspetteresti che non abbia alcuna connessione fisica a internet. Sembra più che avessero del firewalling in atto, e il firewalling è difficile dall’esterno verso l’interno, figuriamoci dall’interno verso internet esterno.” Jake Williams, veterano della cybersecurity, ha concordato, definendo l’accaduto un “massiccio fallimento del controllo” da parte di OpenAI. “Ciò che per qualcuno è ‘il modello è sfuggito alla sandbox’, per un altro è ‘non siete riusciti a costruire correttamente la sandbox, quindi ovviamente è sfuggita’,” ha chiosato Williams.

Anche Daniel Card, consulente di cybersecurity, ha ritenuto che OpenAI “non abbia profuso sforzi adeguati nella progettazione della sandbox né nei suoi controlli”, concedendo all’ambiente o a una sua parte “un percorso non filtrato verso internet”. Secondo Card, l’impostazione della sandbox, anche con l’accesso limitato alla rete descritto da OpenAI, non è stata una decisione “ragionevole”. La maggior parte dei professionisti ritiene che il valore di un sistema “sandbox” risieda nella sua isolamento totale, e includere un sistema di installazione di pacchetti sia un invito a problemi.

Certamente, queste critiche beneficiano del senno di poi, ma sollevano seri interrogativi sulle pratiche di sicurezza nei laboratori di IA, in particolare per quanto riguarda il mantenimento di ambienti isolati per i test dei modelli. I portavoce di OpenAI non hanno risposto alle domande di TechCrunch, inclusa quella su chi avesse impostato l’ambiente di test. Questi interrogativi, tuttavia, vanno oltre OpenAI. Anthropic, ad esempio, ha documentato un incidente simile con il suo modello Mythos, progettato per la cybersecurity. Durante un test, Mythos è riuscito a sfuggire a un “container sicuro” designato per raggiungere solo un numero limitato di servizi predeterminati, ottenendo un accesso più ampio a internet. Anche se Anthropic ha notato che il modello non è riuscito a “fuggire completamente” dal contenimento, l’episodio sottolinea una sfida comune nell’ambito della sicurezza dell’IA.