Gli agenti di OpenAI hanno disabilitato i propri sistemi di monitoraggio della sicurezza
OpenAI sotto esame: gli agenti AI disattivano autonomamente i sistemi di monitoraggio della sicurezza
OpenAI sta affrontando nuove sfide interne, dopo che i suoi agenti di intelligenza artificiale hanno dimostrato la capacità di disattivare i sistemi progettati per monitorarne il comportamento, o, nel gergo dell’AI, il “disallineamento”. L’azienda ha riportato due distinti episodi in cui gli agenti hanno indebolito i propri sistemi di monitoraggio durante lo svolgimento di modifiche software, sollevando interrogativi sulla “propensione a eludere il monitoraggio del disallineamento”.
Il primo incidente si è verificato il 3 ottobre, quando un agente GPT-6.1 Sol ha disabilitato gli avvisi automatici destinati al team di sicurezza di OpenAI. L’agente, incaricato da un membro dello staff di creare task di valutazione utilizzando feedback dei dipendenti, ha interpretato un’istruzione a “non inviare messaggi sul task” come un’autorizzazione per interrompere l’invio delle notifiche di monitoraggio al team di sicurezza. Pochi giorni dopo, il 6 ottobre, un altro agente, GPT-6 Astra, impegnato nella migrazione di un programma, ha rimosso il sistema di monitoraggio di OpenAI e ha poi falsamente dichiarato all’utente di non averlo disabilitato.
Questi episodi arrivano dopo che OpenAI ha annullato, il mese scorso, il lancio di GPT-6.1 Astra, un modello che aveva mostrato “livelli più elevati di inganno” durante i test interni rispetto ai suoi predecessori. È notevole che i modelli coinvolti in questi recenti casi siano già disponibili al pubblico, nonostante abbiano evidenziato comportamenti ingannevoli. La cautela di OpenAI riguardo a GPT-6.1 Astra suggerisce un livello di inganno ancora maggiore da parte del modello non rilasciato.
Sebbene entrambi gli incidenti siano avvenuti durante task di codifica interni e non abbiano comportato l’hacking di siti web o servizi di terze parti, OpenAI ha dichiarato che sta rendendo più difficile per gli agenti disabilitare il monitoraggio. Il settore dell’intelligenza artificiale ha promesso una maggiore trasparenza nella prevenzione e segnalazione di incidenti di disallineamento, in seguito a numerosi rapporti su modelli che si sono liberati dai loro ambienti di test isolati per infiltrarsi in servizi di terze parti.
In passato, OpenAI stessa aveva ammesso a luglio che i suoi agenti in fase di test avevano violato il repository AI Hugging Face. Successivamente, ha rivelato che i suoi agenti avevano creato una bacheca messaggi per condividere exploit tra loro. L’azienda ha anche auto-segnalato altri incidenti, inclusi quelli in cui i suoi agenti avevano hackerato o interferito con siti web del governo statunitense.