ZML, promettente startup francese, lancia un prodotto gratuito per velocizzare l’inferenza su numerosi chip AI.
ZML Scuote il Dominio di Nvidia nell’IA con un Server di Inferenza Multi-Chip
Mentre i giorni del predominio incontrastato di Nvidia sul mercato non sono ancora finiti, sfidanti e nuove opzioni stanno emergendo da ogni direzione nel panorama dell’intelligenza artificiale. Al centro di questa effervescenza c’è ZML, una promettente startup francese nel settore dell’IA, sostenuta dal vincitore del Turing Award Yann LeCun, che ha recentemente rilasciato un software di inferenza ad alte prestazioni. Questo strumento permette a una vasta gamma di modelli linguistici di grandi dimensioni (LLM) open-source di operare su diversi chip, inclusi quelli di Nvidia, AMD, Google TPU, Apple Metal e Intel Arc.
Con ZML/LLMD, il server di inferenza LLM appena lanciato, l’ambizione dell’azienda è chiara: abbattere i "silos" esistenti e rendere diversi chip disponibili per i casi d’uso dell’IA alla loro massima velocità disponibile, e talvolta anche più rapidamente. Steeve Morin, fondatore di ZML, ha dichiarato a TechCrunch che, mentre l’IA si integra sempre più nel nostro lavoro e nella vita quotidiana, l’ottimizzazione dell’inferenza – ovvero l’elaborazione dei prompt – sta superando in importanza l’addestramento dei modelli. Tuttavia, questo processo spesso risulta frammentato a causa di barriere software e architetturali che portano al blocco del fornitore.
La promessa di raggiungere prestazioni massime su una varietà di chip rappresenta un’impresa tecnologica significativa, ma potrebbe anche rivelarsi un elemento di rottura del mercato, specialmente in un contesto di crescenti timori riguardo ai costi legati all’IA. ZML spera di offrire a imprese e fornitori di cloud la possibilità di utilizzare un mix di chip, alcuni dei quali potrebbero essere meno costosi o consumare meno energia. "L’idea è di restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano all’IA di essere diffusa," ha spiegato Morin.
Un tale ausilio software potrebbe anche supportare i nuovi produttori di chip AI, molti dei quali provengono dall’Europa, come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Per Morin, ciò che conta più della regione di origine è la capacità di ZML di collaborare con loro su "cose che non sono mai state fatte prima in nessun’altra parte del mondo."
Questo non significa che Morin sia pessimista riguardo a Nvidia. Al contrario, il fondatore di ZML mantiene una buona relazione con il gigante dei chip AI, che si è preparato all’ascesa dell’inferenza. Il settore dell’inferenza è stato oggetto di investimenti così intensi da essere definito la "corsa all’oro dell’inferenza". In questo scenario, ZML affronta una forte concorrenza da parte di aziende come Baseten, recentemente valutata 13 miliardi di dollari, Inferact (dai creatori del progetto open-source vLLM), e RadixArk, l’azienda commerciale dietro SGLang. Sebbene vLLM e SGLang competano parzialmente con LLMD, le ambizioni di Morin per ZML coprono uno spettro più ampio: "Siamo arrivati al punto di co-progettare il silicio," ha affermato, attribuendo al suo agile team di 20 persone la rapidità con cui la startup parigina si sta muovendo, con ulteriori rilasci in programma.
Il successo è stato agevolato anche da un finanziamento considerevole per le dimensioni del team. Grazie al suo passato come vicepresidente dell’ingegneria di Zenly, acquisita da Snapchat per una cifra a nove zeri nel 2017, Morin ha raccolto 20 milioni di dollari da fondi di venture capital tra cui 20VC di Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures di Xavier Niel, Kindred Capital, LocalGlobe e Puzzle Ventures.
A differenza del primo progetto pubblico di ZML, un framework ML incentrato sull’inferenza rilasciato nel 2024 e aggiornato a marzo, ZML/LLMD non è open-source. Tuttavia, viene lanciato come prodotto gratuito con l’obiettivo di raccogliere dati sull’utilizzo. "Preferisco misurare e [poi generare entrate] dove è più efficace senza ostacolare stupidamente la mia crescita perché sono stato troppo avido fin dall’inizio," ha dichiarato Morin.
È ancora troppo presto per dire quando ZML/LLMD potrebbe diventare un prodotto a pagamento e quale sarà la sua adozione. Tuttavia, il cap table della startup conferma che altri fondatori di spicco stanno prestando attenzione, tra cui Solomon Hykes (fondatore di Dagger e Docker), Clément Delangue e Julien Chaumond di Hugging Face, oltre a LeCun, ora con AMI Labs. Ciò rafforza anche l’idea che le startup europee nel campo dell’IA possono ormai costruire il loro futuro rimanendo "a casa". "Non potrei fare ZML da nessun’altra parte se non a Parigi," ha concluso Morin.