Vals, sostenuta da Andreessen Horowitz, punta a diventare lo standard di riferimento per il benchmarking dell’IA
Il benchmarking, la pratica di valutare le capacità dei modelli di intelligenza artificiale, è diventato uno standard di settore. Quando le metriche pendono a loro favore, le aziende ne approfittano per distinguersi dalla concorrenza e promuovere la propria superiorità. Purtroppo, molte realtà hanno imparato a eludere i sistemi di benchmarking tradizionali, spesso datati e non progettati per misurare le reali capacità dei modelli moderni.
In questo scenario imperfetto, emerge Vals, una startup fondata nel 2024 con la missione di ridefinire il sistema. In meno di due anni, Vals si è affermata come una presenza significativa nel panorama tecnologico, culminando il mese scorso in un round di finanziamento di Serie A da 40 milioni di dollari, guidato da Andreessen Horowitz, dopo un precedente seed round da 8VC e Bloomberg Beta.
Al timone di Vals c’è Rayan Krishnan, un co-fondatore di 25 anni con un impressionante curriculum che include stage presso Palantir e collaborazioni con Microsoft e il rinomato laboratorio di intelligenza artificiale di Stanford. Krishnan racconta che l’idea di Vals è nata dalle sue osservazioni dirette su come i sistemi di benchmarking faticassero a tenere il passo con i rapidi progressi dell’industria che erano destinati a misurare.
“Vedevamo una miriade di nuovi modelli estremamente capaci emergere rapidamente sul mercato, ma i benchmark accademici non erano all’altezza di questi progressi di frontiera”, ha spiegato Krishnan. Con l’IA che si integra in ogni aspetto della società, i benchmark dovrebbero esistere per verificare che i modelli possano effettivamente fare ciò che le aziende pubblicizzano.
La scorsa settimana, il giovane fondatore ha mostrato la sede di due piani della sua azienda in Folsom Street a San Francisco, un antico edificio in mattoni che un secolo fa ospitava un grande birrificio. Ora, la struttura storica è la casa di diverse startup che cercano di plasmare il futuro dell’industria tecnologica.
“Storicamente, credo che la valutazione sia stata fatta per valutare l’intelligenza in modo molto astratto”, ha detto Krishnan. “Come, i modelli conoscono abbastanza informazioni per poter sostenere un test tipo esame di avvocato?”. Vals si propone di distinguersi. A differenza di molti sistemi di benchmarking che offrono test disponibili pubblicamente (permettendo alle aziende di ‘allenare’ i modelli e potenzialmente barare), Vals non divulga pubblicamente i suoi materiali di test specifici. Invece di misurare la conoscenza generale di un modello AI, Vals valuta la sua capacità di completare compiti complessi associati a settori specifici come il diritto, la finanza e la programmazione.
“Quello che stiamo facendo è in realtà guardare quali sono gli impatti reali dei modelli”, ha affermato Krishnan. “Possono svolgere un lavoro che produce un prodotto della stessa qualità di un essere umano in ogni ambito?”. L’obiettivo è controllare non solo i risultati positivi, ma anche quelli negativi, ha aggiunto. La speranza è analizzare “quali sarebbero le implicazioni negative se questi modelli dilagassero nel mondo”.
Le capacità che Vals sta misurando sono in continua crescita. Oltre ai settori più tradizionali, la startup si sta spingendo in terreni più unici. “Abbiamo un benchmark sull’auto-miglioramento ricorsivo. Stiamo lavorando sulla salute mentale, la cybersecurity, la biosecurity e persino il diritto dei conflitti armati per aiutare i modelli a capire come applicare la Convenzione di Ginevra”, ha condiviso Krishnan.
Le aziende pagano Vals per testare i propri modelli, un concetto che può sembrare controintuitivo: perché pagare per scoprire che un modello non funziona bene? Ma una misurazione efficace aiuta le aziende a identificare i problemi e a migliorare nel tempo. Krishnan paragona il loro modello di ricavo a come uno studente potrebbe pagare il College Board per sostenere l’SAT. A loro volta, queste valutazioni stanno diventando fattori decisionali chiave per le aziende che cercano di acquisire nuovi modelli di intelligenza artificiale.
La startup ha recentemente rivelato che il suo fatturato è attualmente otto volte superiore a quello dell’anno precedente. Anche il personale è in crescita: Vals, che ha iniziato l’anno con sole otto persone, è già triplicato, raggiungendo un team di 25 elementi. Krishnan ha dichiarato che, man mano che la startup cresce, il piano è di trasferirsi in un ufficio significativamente più grande, oltre ad assumere altre 10-15 persone. L’azienda ha anche recentemente lanciato un programma incentrato sulla fornitura di valutazioni di modelli alle agenzie federali.
Krishnan vede il sistema di benchmarking della sua azienda come il futuro del modo in cui le aziende di intelligenza artificiale concepiranno la crescita delle loro attività e l’instaurazione della fiducia pubblica. “Le aziende di IA stanno iniziando a quotarsi in borsa. SpaceX è stata quotata. Anthropic è prevista per la fine di quest’anno. Sospetto che OpenAI sarà presto pubblica. Credo che, man mano che i modelli di IA diventeranno una parte fondamentale dell’economia e si diffonderanno più ampiamente, i tipi di benchmark e valutazioni che facciamo guideranno il loro utilizzo e saranno una parte centrale del modo in cui queste aziende presenteranno i loro documenti pubblici o parleranno degli investimenti futuri che faranno nell’IA”, ha concluso.