PrismML porta i suoi LLM compatti sugli occhiali smart Qualcomm
L’IA “Bonsai” di PrismML Arriva Sugli Occhiali Intelligenti Qualcomm
Il laboratorio di intelligenza artificiale PrismML, fondato da ricercatori Caltech e con la consulenza di Ion Stoica dell’UC Berkeley, ha sviluppato una versione dei suoi piccoli modelli linguistici per occhiali intelligenti, progettata per funzionare sui chip Snapdragon di Qualcomm. Questa innovazione è stata presentata mercoledì al Snapdragon Summit di Qualcomm, dove il produttore di chip ha mostrato il modello Bonsai LLM a 1 bit di PrismML.
Il Bonsai LLM può essere eseguito localmente su occhiali intelligenti dotati della piattaforma Snapdragon AR1 Gen 1. Come riportato in precedenza da TechCrunch, il punto di forza di PrismML risiede nella sua capacità di ridurre notevolmente i modelli più grandi (in questo caso, di ben quattro volte), pur mantenendo quasi inalterate le loro prestazioni sui benchmark standard. La versione per occhiali intelligenti è un modello da 2 miliardi di parametri ottimizzato per la visione e il linguaggio, consentendo agli indossatori di interrogare in tempo reale ciò che stanno guardando.
L’obiettivo più ampio di PrismML è promuovere un’intelligenza artificiale a “peso aperto” che funzioni direttamente sui dispositivi, sfruttando al meglio la potenza di calcolo già presente. La startup presenta questa soluzione come un’alternativa alla dipendenza dalle promesse di privacy dei laboratori di IA proprietari e dal loro insaziabile bisogno di maggiore potenza computazionale.
Il rilascio di un modello ottimizzato per i chip Qualcomm rappresenta un passo significativo verso questa visione. Tuttavia, al momento non sono stati ancora annunciati occhiali intelligenti specifici che integrino la tecnologia PrismML.