PrismML spera di cambiare il nostro uso dell’IA con il suo piccolo LLM.

PrismML Rimodella il Futuro dell’IA con Modelli di Linguaggio Ultracompatti e Potenti

PrismML, un laboratorio di intelligenza artificiale emergente, si sta affermando come un attore chiave nel settore, non tanto per l’ingente capitale raccolto finora (solo un seed round da 22,25 milioni di dollari), quanto per le eccezionali menti tecniche coinvolte e la tecnologia potenzialmente rivoluzionaria che sta sviluppando. La scommessa audace di PrismML è che i modelli di linguaggio di grandi dimensioni (LLM) capaci, performanti e con capacità di ragionamento, in realtà, non debbano essere di grandi dimensioni.

L’azienda sta creando modelli di ragionamento così piccoli da poter essere eseguiti su PC e smartphone. Si vocifera persino di colloqui con Apple, sebbene l’amministratore delegato Babak Hassibi abbia rifiutato di commentare la notizia con TechCrunch. Questa settimana, PrismML ha rilasciato Bonsai 2 27B, l’ultima aggiunta alla sua famiglia di modelli, che comprime Qwen3.8 27B, un modello open source ampiamente utilizzato da Alibaba, riducendolo a soli 5,9 GB. Questa dimensione è sufficiente per adattarsi a un PC e, potenzialmente, a uno smartphone di fascia alta, rappresentando una riduzione di memoria da 9 a 10 volte rispetto all’originale.

PrismML è stata fondata da un gruppo di ricercatori del Caltech ed è guidata da Babak Hassibi, professore del Caltech ed esperto di tecnologie di compressione. La startup annovera anche Ion Stoica come consulente, co-fondatore di Databricks e direttore del rinomato Sky Computing Lab di Berkeley, da cui sono nate numerose tecnologie e startup. PrismML è inoltre sostenuta da investitori come Khosla Ventures, Cerberus Capital e Caltech.

Sebbene PrismML non sia l’unica azienda a lavorare sulla tecnologia di compressione degli LLM – Multiverse Computing, fondata da un noto professore dello Spain’s Donostia International Physics Center, è un altro esempio ben finanziato – la tecnologia di compressione di PrismML si distingue. Hassibi afferma che i suoi LLM non hanno perso praticamente alcuna performance rispetto agli originali. Bonsai 2, infatti, eguaglia il 98% dei punteggi benchmark aggregati di Qwen, un miglioramento rispetto al primo Bonsai, rilasciato a marzo, che raggiungeva il 95%. Il modello originale è stato scaricato oltre 11 milioni di volte, e i modelli ancora più piccoli di PrismML hanno registrato ulteriori 2,6 milioni di download.

I risultati di compressione di PrismML sono costantemente migliorati di versione in versione. Raggiungere una parità del 100% nei benchmark resta una questione aperta, con Hassibi che suggerisce che la compressione avrà probabilmente sempre un certo impatto. Tuttavia, la parità perfetta è in gran parte accademica, poiché gli LLM non compressi non sono perfetti e i benchmark non riflettono sempre con precisione l’uso reale, rendendo una degradazione del 2% probabilmente irrilevante nell’utilizzo pratico.

PrismML ottiene questi risultati riducendo i "pesi" che costituiscono un modello, ovvero le informazioni che un modello apprende e memorizza durante l’addestramento. Normalmente, ogni peso richiede 16 bit. L’approccio di PrismML, chiamato "pesi ternari", semplifica questo a tre valori: +1, -1 o 0. Con valori molto più piccoli da memorizzare per ogni peso, il modello occupa drasticamente meno spazio.

Il prossimo obiettivo della startup è applicare questa tecnica di compressione a modelli ancora più grandi. "I prossimi modelli che rilasceremo, speriamo nei prossimi due mesi, saranno nell’ordine di diverse centinaia di miliardi di parametri, e mi aspetto che sarà più facile mantenere l’intelligenza lì", ha dichiarato Hassibi a TechCrunch. Ha aggiunto che, all’aumentare delle dimensioni del modello, "c’è più spazio per poterli comprimere senza perdere l’intelligenza. Quindi direi, come tendenza generale, che per i modelli più grandi è più facile raggiungere il 100%".

Ion Stoica si dichiara entusiasta di questa tecnologia perché rende possibile l’esecuzione di modelli avanzati sui dispositivi degli utenti. "Avrai l’intelligenza a portata di mano, e sarà gratuita perché funzionerà sul dispositivo che hai già acquistato. Sarà anche privata, perché non dovrai inviarla al cloud", ha affermato Stoica.