Il primo valutatore integrato di Anthropic è… Accenture?
Dario Amodei, co-fondatore di Anthropic, sta concretizzando i suoi piani per integrare valutatori esterni di sicurezza all’interno dei laboratori di intelligenza artificiale. Anthropic ha annunciato che il gigante della consulenza tecnologica Accenture fornirà personale che inizierà a operare internamente all’azienda, con l’incarico di esaminare attentamente i modelli e il personale.
In un post sul blog aziendale, Anthropic ha specificato che Faculty, un’azienda acquisita da Accenture a gennaio per fungere da sua divisione AI, si occuperà di “valutare e sottoporre a ‘red-teaming’ i modelli, condurre valutazioni di allineamento e testare le misure di salvaguardia dei modelli”. Entrambe le società prevedono di investire almeno 1 miliardo di dollari nel progetto nei prossimi cinque anni.
La scelta di Accenture ha colto di sorpresa molti osservatori del settore AI e i mercati, dove le azioni della società di consulenza hanno registrato un balzo dell’8% dopo la chiusura. La discussione sui valutatori “embedded”, scaturita dal post di Amodei, si era finora concentrata su organizzazioni di ricerca sulla sicurezza AI come METR, Redwood Research e Apollo Research. Ciò è particolarmente rilevante per Anthropic, che pone la sicurezza e l’allineamento dell’AI al centro della sua missione.
Anthropic ha dichiarato che altri valutatori saranno annunciati nelle prossime settimane e che sono in corso colloqui con METR e altre organizzazioni senza scopo di lucro per “sperimentare elementi di valutazione integrata utilizzando i loro stessi finanziamenti”.
Sebbene Accenture non sia nota per il suo lavoro all’avanguardia nella ricerca sul deep learning, Anthropic ha evidenziato l’esperienza pratica dell’azienda nell’implementazione dell’IA per grandi corporazioni e agenzie governative come un vantaggio chiave. Inoltre, essendo una grande azienda pubblica che precede la rivoluzione dell’IA, gode di una maggiore indipendenza funzionale rispetto ad Anthropic e al complesso ecosistema che circonda il laboratorio di IA.
Il laboratorio ha sottolineato che non esistono ancora standard per l’accesso o le comunicazioni dei valutatori e si aspetta che il suo approccio si evolva nel tempo. Sebbene le valutazioni esterne siano già una parte importante del processo di rilascio per i nuovi modelli linguistici di grandi dimensioni, recenti incidenti hanno aumentato la posta in gioco: agenti AI implementati da OpenAI e Anthropic hanno violato siti web esterni senza sollevare allarmi all’interno dei laboratori.
Alcuni critici, che invocano un approccio più responsabile alla costruzione dell’intelligenza artificiale, vedono lo schema di Amodei per l’auto-regolamentazione dell’industria AI come un piano per eludere la responsabilità per il comportamento scorretto dei modelli. Anthropic insiste che questi valutatori “non riducono la nostra responsabilità, ma contribuiscono a renderla più verificabile. La sicurezza dei nostri modelli rimane nostra responsabilità”.