The Pulse
Turba Labs annuncia un finanziamento da 52 milioni di dollari guidato da Creandum e Cusp Capital
Turba Labs ha annunciato un finanziamento da 52 milioni di dollari guidato da Creandum e Cusp Capital, senza indicare a quale round si riferisca. L’azienda afferma che la sua piattaforma per le prestazioni dell’IA punta ad aumentare il lavo
AI.info Team · Scritto con l’IA ·
Turba Labs ha annunciato un finanziamento da 52 milioni di dollari guidato da Creandum e Cusp Capital. L’annuncio dell’azienda non indica a quale round si riferisca né precisa se la cifra rappresenti il totale dei finanziamenti raccolti o soltanto questo finanziamento.
Un finanziamento per puntare sull’hardware esistente
L’azienda sta sviluppando una piattaforma per le prestazioni dell’IA destinata alle organizzazioni che gestiscono infrastrutture di IA. Anziché ottimizzare isolatamente un modello o un componente hardware, Turba afferma di trattare i carichi di lavoro e l’infrastruttura come un unico sistema di esecuzione, collegando analisi, un gemello digitale calibrato e orchestrazione.
I fondatori di Turba descrivono il problema operativo come uno scarto tra capacità nominale e lavoro utile. Gli acceleratori possono restare in attesa della memoria o delle comunicazioni, mentre la capacità di un gruppo di risorse rimane inutilizzata e i lavori si accumulano in coda altrove. Un utilizzo elevato, da solo, sostiene l’azienda, non dimostra che un sistema produca risultati utili rispettando i requisiti di costo, velocità e affidabilità.
I fondatori, il dott. Patrick Jahnke e il dott. Hans-Juergen Schmidtke, scrivono:
«Il sistema è l’unità da ottimizzare».
Secondo loro, le prestazioni del sistema dipendono dal percorso critico attraverso calcolo, memoria e rete, non soltanto dai miglioramenti locali di un singolo componente.
Un software che fa previsioni prima di modificare i carichi di lavoro
Turba afferma che la sua piattaforma usa innanzitutto la pianificazione predittiva degli scenari per stimare come un nuovo modello, un maggior numero di utenti o un hardware diverso potrebbero influire su prestazioni, affidabilità e costi. Durante il funzionamento in tempo reale, può regolare l’instradamento, l’ammissione, le repliche, il posizionamento, il batching e il parallelismo al variare delle condizioni. L’azienda afferma che gli operatori ricevono anche una spiegazione del vincolo determinante, del miglioramento atteso e di quale osservazione potrebbe mostrare che una previsione era errata.
Questo approccio mira a tenere conto di come cambino i requisiti di un carico di lavoro al variare della precisione, della lunghezza del contesto, della composizione dei batch e del livello di concorrenza. Il fatto che un modello rientri nella memoria del dispositivo non dimostra, di per sé, che un servizio raggiungerà gli obiettivi di prestazione con il carico previsto, scrivono i fondatori. Turba afferma che il suo sistema tiene conto di queste interazioni prima e durante il deployment.
Un risultato di 9,4 volte, con una precisazione sulla modellazione
Turba cita un esempio modellato di inferenza mista in cui il costo medio ponderato per token è diminuito di un fattore pari a 9,4, ovvero di circa l’89%, mantenendo gli obiettivi di servizio. Secondo l’azienda, l’esempio comprende cinque profili di carico di lavoro e sei misure di ottimizzazione. È un risultato modellato per lo scenario indicato, non un risultato riportato per un deployment presso un cliente né una promessa di ottenere gli stessi risparmi su altri sistemi.
La distinzione è importante: Turba afferma che terrà separati i risultati modellati da quelli misurati nei deployment e confronterà la sua piattaforma con una configurazione di riferimento ben ottimizzata su carichi di lavoro rappresentativi, compresi i picchi. L’annuncio non identifica alcun cliente né fornisce misurazioni indipendenti che convalidino l’esempio modellato.
Oltre due anni di ricerca e sviluppo
Jahnke e Schmidtke affermano di aver dedicato più di due anni alla ricerca e allo sviluppo della piattaforma. L’annuncio non indica una valutazione né nomina altri investitori.
Turba presenta come propria ambizione il raddoppio della capacità di calcolo utile senza costruire un nuovo data center. È l’obiettivo dell’azienda, non l’affermazione che abbia già raddoppiato la capacità di calcolo a livello globale. La prova concreta sarà verificare se gli operatori delle infrastrutture riusciranno a riprodurre i miglioramenti rispetto a una solida configurazione di riferimento, rispettando al contempo i propri requisiti di servizio.