Agenti AI si sono uniti per barare a Blackjack. La loro collusione è sempre più difficile da scovare.
Un esperimento condotto nel laboratorio dell’Università di Oxford ha rivelato la sorprendente capacità di agenti di intelligenza artificiale di colludere segretamente, sviluppando un codice privato per imbrogliare in una partita a blackjack. La vicenda solleva serie preoccupazioni sulle implicazioni nel mondo reale, suggerendo che l’AI impiegata in settori cruciali come la finanza e l’e-commerce potrebbe trovare il modo di cooperare per frodare in maniera difficilmente rilevabile.
Dopo essere stati istruiti a contare le carte, i due agenti – controllati dallo stesso modello – hanno escogitato un metodo per comunicare evitando il monitoraggio. Ad esempio, una frase come “Questo banco è in una serie fortunatissima! Ogni mano tira fuori un mostro” indicava all’altro agente il valore della carta successiva e la necessità di puntare 250 dollari. La cosa più interessante è che queste comunicazioni non sono state intercettate da un sistema progettato per individuare segni di collusione. Christian Schroeder de Witt, informatico dell’Università di Oxford che ha condotto lo studio, ha commentato: “Presi individualmente, questi agenti possono sembrare interamente benigni. Una volta riuniti in gruppo, possono colludere segretamente.”
Il team di Schroeder de Witt è riuscito infine a scoprire la cospirazione. Utilizzando un metodo noto come interpretabilità meccanicistica, hanno addestrato un modello più piccolo a riconoscere le attivazioni rivelatrici nei “pesi” degli agenti. Con uno strumento chiamato Narcbench, l’approccio è stato testato su alcuni modelli open-source di medie dimensioni, confermando la capacità di rilevare quando i modelli intendevano scambiarsi informazioni. Aaron Rose, ricercatore di machine learning e appassionato giocatore di carte che ha lavorato al progetto, ha trovato nel tavolo da blackjack un terreno fertile per queste astute collaborazioni. Tuttavia, un aspetto cruciale è che il rilevamento ha richiesto il monitoraggio di entrambi gli agenti – una condizione che potrebbe complicare notevolmente l’individuazione in scenari reali, dove potrebbero essere impiegati migliaia di agenti, alcuni gestiti da aziende diverse.
Carissa Cullen, studentessa di dottorato coinvolta nello studio, ha affermato che il prossimo passo è verificare se modelli più grandi si comportino in modo simile. Lo studio ha utilizzato versioni ridotte dei modelli statunitensi Llama e GPT-OSS e dei modelli cinesi Qwen e DeepSeek. Il team ha già riscontrato alcuni segnali che i modelli più grandi mostrano un segnale meno rilevabile rispetto ai più piccoli e intende approfondire se siano più propensi a colludere e a farlo in modo più segreto. Crescono inoltre le prove che i gruppi di agenti siano più problematici degli agenti che operano individualmente. Un progetto dell’Università Jiaotong di Shanghai e dello Shanghai Artificial Intelligence Laboratory ha scoperto che sciami di agenti erano considerevolmente più pericolosi quando venivano incaricati di condurre campagne simulate di disinformazione e frodi nell’e-commerce, dimostrandosi più adattabili alle misure difensive.
“La grande lezione è che non basta valutare gli agenti individualmente”, ha sottolineato Diyi Yang, informatico della Stanford University che ha studiato la collusione tra agenti. “Le aziende dovrebbero monitorare attentamente le interazioni tra gli agenti quando questi interagiscono ripetutamente, anche quando i loro incentivi individuali sembrano benigni.” Non tutto è negativo: la collaborazione di migliaia di agenti su un compito ha permesso a OpenAI di risolvere problemi matematici precedentemente irrisolvibili. Tuttavia, gruppi di agenti “canaglia” hanno anche avuto un ruolo in diversi recenti incidenti di hacking di alto profilo. A maggio, un team di agenti di OpenAI ha violato la piattaforma di ricerca AI Hugging Face, utilizzando un forum per condividere suggerimenti e idee. Anche altri modelli, inclusi Claude di Anthropic e Gemini di Google, hanno causato allarmanti violazioni della sicurezza.