Un rapporto sui benefici dell’IA era, a quanto pare, pieno di allucinazioni dell’IA
KPMG Ritrae Rapporto sull’IA Dopo Scoperta di "Allucinazioni" e Citazioni False
KPMG, una delle "Big Four" società di revisione e consulenza a livello mondiale, ha ritirato un suo rapporto sull’intelligenza artificiale dopo che un’indagine ha rivelato che il documento era pieno di "allucinazioni da IA", citazioni inaccurate e affermazioni infondate. Il rapporto, intitolato "Total Experience: Redefining Excellence in the Age of Agentic AI", pubblicato lo scorso ottobre, esplorava l’uso dell’IA da parte delle aziende per soddisfare le esigenze dei clienti.
Le imprecisioni sono state scoperte e verificate da GPTZero, creatore di uno strumento di rilevamento di contenuti IA, e successivamente confermate dal Financial Times. Secondo GPTZero, solo cinque delle 45 citazioni presenti nel documento facevano riferimento a fonti reali in modo accurato. Ben 28 citazioni parafrasavano titoli o aggiungevano componenti falsi a fonti esistenti, mentre 12 erano formulate in modo troppo vago per essere verificate. GPTZero ha definito la creazione di riferimenti falsi da parte dei modelli di IA come "vibe citing".
Oltre alle citazioni fasulle o imprecise, gli investigatori hanno rilevato che circa la metà delle affermazioni contenute nel rapporto erano false o attribuite erroneamente. Tali errori sarebbero "probabilmente il risultato di uno strumento di ricerca IA che ha obbedito eccessivamente a una richiesta di trovare esempi di ‘IA agentica’ nel mondo reale", ha scritto GPTZero. Un esempio lampante riguarda l’affermazione di KPMG secondo cui Emirates avrebbe lanciato un chatbot mobile chiamato Sara, in grado di interagire con i passeggeri e modificare i loro voli. In realtà, Sara era un assistente mobile lanciato nel 2023, non basato sull’IA, e non aveva la capacità di cambiare prenotazioni.
Altre inesattezze includevano l’affermazione che la banca d’investimento multinazionale svizzera UBS avesse integrato l’IA agentica nelle sue attività di "consulenza sugli investimenti, gestione del rischio e monitoraggio della conformità", informazione che la banca ha dichiarato al Times essere "fattualmente scorretta". Similmente, KPMG aveva sostenuto che le Ferrovie Federali Svizzere (SBB) disponessero di agenti IA per aiutare i passeggeri a pianificare, prenotare e ottimizzare i viaggi, ma un portavoce delle SBB ha smentito tale affermazione.
I rapporti di aziende come KPMG sono tradizionalmente considerati fonti altamente affidabili e vengono spesso citati in altri lavori di ricerca e articoli. Edward Tian, CEO di GPTZero, ha avvertito che documenti errati pubblicati dalle "Big Four" potrebbero "avvelenare il pozzo dell’informazione" e portare a "allucinazioni da IA di seconda mano". Un portavoce di KPMG ha dichiarato al Financial Times che l’azienda "prende sul serio l’accuratezza e l’integrità dei suoi contenuti pubblicati". Il rapporto è stato ritirato e l’azienda sta ora "rivedendo le circostanze della sua pubblicazione".