Meta non ha individuato centinaia di annunci AI di pedopornografia, alcuni con foto di bambini veri.

Allarme App "Nudify" su App Store e Play Store: Contenuti Espliciti e Violenti con Sviluppatori Cinesi in Primo Piano

Una recente indagine ha rivelato la proliferazione di quasi 50 applicazioni, disponibili sia sul Google Play Store che sull’App Store di Apple, che generano immagini e video espliciti tramite intelligenza artificiale, le cosiddette app "nudify". Di circa 350 annunci esaminati, circa 300 indirizzavano gli utenti a questi generatori AI, con la maggior parte delle app collegate a sviluppatori con sede in Cina. Alcune di queste applicazioni presentavano contenuti altamente disturbanti, inclusi scenari di violenza sessuale.

Tra le app identificate, otto versioni identiche erano presenti sull’App Store di Apple, molte delle quali riconducibili a sviluppatori cinesi. All’apertura, queste app mostravano contenuti espliciti generati dall’intelligenza artificiale, inclusi menu di scenari sessuali, uno dei quali denominato "coltello minaccioso" dove un coltello è puntato alla gola di una donna. WIRED ha identificato altre sette app identiche con lo stesso design, contenuti espliciti e dettagli di contatto dello sviluppatore.

Adam Dema, portavoce di Apple, ha dichiarato: "L’App Store è stato progettato per essere un luogo sicuro e affidabile per gli utenti, e abbiamo tolleranza zero per gli sviluppatori che tentano deliberatamente di eludere il nostro processo di revisione." Ha spiegato che gli sviluppatori in questione avevano inizialmente presentato app conformi alle linee guida, per poi introdurre capacità di "nudificazione" in un secondo momento, violando le regole. Apple ha affermato di aver già rimosso 17 delle 20 app incluse nella ricerca e di aver agito contro le restanti tre, oltre a rimuovere le sette app aggiuntive scoperte da WIRED.

Anche Google è intervenuta sulla questione. Dan Jackson, portavoce dell’azienda, ha affermato che Google non consente app che contengano contenuti sessuali o la capacità di "nudificare". "Adottiamo continuamente misure proattive per rilevare e rimuovere app con contenuti dannosi," ha dichiarato Jackson, aggiungendo che tutte le app menzionate nel rapporto sono state rimosse. "Quando ci vengono segnalate violazioni, indaghiamo e agiamo prontamente, il che nel caso di queste app ha incluso la sospensione di centinaia di app e la restrizione di termini di ricerca correlati come ‘nudify’ sul nostro store."

David Pham, ex dipendente di Meta che ha investigato immagini non consensuali e abusi sulle sue piattaforme, ha evidenziato come "la quota di sviluppatori cinesi che creano app di nudificazione sia cresciuta di anno in anno." Pham ha osservato che gli inserzionisti cercavano costantemente di aggirare i sistemi di sicurezza: "Ogni volta che la piattaforma o gli investigatori costruivano un nuovo modello di rilevamento o un nuovo modo per imporre un’applicazione, rapidamente – nel giro di un giorno, forse cinque giorni – costruivano un nuovo modo per eludere il rilevamento." Ciò includeva il cambio di domini, l’occultamento dell’identità dei pubblicatori e l’uso di tecniche come l’offuscamento o la sottile modifica delle immagini per evitare il rilevamento. Nonostante ciò, Pham, che ha lasciato Meta l’anno scorso, ritiene che l’azienda abbia i fondi e le risorse per affrontare il problema.

Tuttavia, le attuali protezioni di Meta contro annunci contenenti materiale pedopornografico (CSAM) e immagini intime non consensuali (NCII) sembrano necessitare di miglioramenti. Secondo un recente rapporto di Indicator Media, più di 11.000 annunci di "spogliarello" digitale sono apparsi sulle piattaforme di Meta da febbraio di quest’anno, molti dei quali sarebbero stati pubblicati da "recidivi". Un’analisi di WIRED ha inoltre trovato centinaia di annunci con contenuti espliciti che utilizzano un linguaggio simile a quelli scoperti dai ricercatori del TTP.

Un annuncio contenente l’immagine di un’adolescente, la cui identità reale è stata scoperta dai ricercatori, è stato segnalato a Meta quando aveva raggiunto quattro account in Europa. Tuttavia, quando è stato rimosso giorni dopo, era già stato visualizzato da oltre 330 utenti. "Non è qualcosa che una piccola organizzazione no-profit che fa ricerca dovrebbe scoprire per caso e poi dover investigare e segnalare," ha affermato Paul del TTP. "Stiamo parlando di una delle aziende più ricche di risorse – tecnologicamente e finanziariamente – del pianeta."