Allucinazione AI quasi scatena operazione militare USA
Aerei militari erano già in volo questa primavera quando funzionari statunitensi fecero una scoperta allarmante: l’intelligence che guidava un’operazione armata contro una nave cinese era stata “allucinata” da un chatbot AI. L’operazione fu abortita all’ultimo minuto, scongiurando per un soffio un potenziale conflitto con la Cina, ha riferito la CNN venerdì.
L’episodio sottolinea una preoccupazione crescente tra i funzionari militari e gli esperti esterni: poiché i decisori si affidano sempre più all’intelligenza artificiale, gli errori prodotti da questi sistemi possono risalire la catena di comando prima di essere messi in discussione.
Il rapporto di intelligence, circolato durante la “guerra” con l’Iran, affermava che la nave trasportava componenti per un programma di armi nucleari. La falsa intelligence è stata generata da un analista del Comando Operazioni Speciali che ha interrogato un chatbot AI per sintetizzare dati open source con intelligence classificata. Il chatbot ha erroneamente identificato il manifesto del carico della nave. L’analista ha poi utilizzato lo strumento una seconda volta per formattare i risultati errati in un riassunto dall’aspetto ufficiale, che è stato diffuso attraverso i canali di comando.
Lo scampato pericolo arriva mentre l’esercito statunitense è impegnato in una corsa per integrare l’AI al fine di accelerare il processo decisionale e mantenere il suo vantaggio sulla Cina. Il Pentagono ha descritto l’AI come un vantaggio significativo nell’accelerare la sua “catena di uccisione” in modo che i comandanti possano rispondere al momento giusto. Ma la stessa velocità che rende l’AI attraente può anche consentire allucinazioni con insufficiente supervisione umana.
“È importante che i membri delle forze armate comprendano l’incertezza inerente ai LLM,” ha dichiarato Jake Steckler, ricercatore presso GovAI ed ex ufficiale dell’esercito statunitense, in una risposta scritta a TechCrunch. “Ma è particolarmente critico per qualsiasi decisione che potrebbe portare all’uso della forza, come il targeting, l’analisi dell’intelligence o la pianificazione operativa. Ci sono conseguenze di vita o di morte per tali decisioni.”
Steckler afferma comunque che l’incidente dovrebbe servire come monito per aggiungere più salvaguardie all’AI, non come motivo per evitarla. “Questi strumenti possono essere utili nei contesti giusti e con le giuste salvaguardie,” ha detto. “Ma dare priorità alla velocità di adozione su tutto il resto porterà probabilmente a incidenti che faranno perdere fiducia nei sistemi ai membri delle forze armate, il che alla fine rallenterà solo l’adozione.”