The Pulse
AMD conclude l’acquisizione di Taalas per aggiungere silicio per l’inferenza alla roadmap dei suoi acceleratori
AMD ha completato l’acquisizione di Taalas, sviluppatore con sede a Toronto di chip specializzati per l’inferenza dell’IA. AMD prevede di integrare la tecnologia dell’azienda nella propria roadmap degli acceleratori e di sviluppare soluzioni a livello di sistema insieme alle GPU Instinct.

AMD ha completato l’acquisizione di Taalas, portando nella propria attività uno specialista di chip per l’inferenza dell’IA, mentre pianifica nuovi prodotti per acceleratori e soluzioni a livello di sistema. L’accordo aggiunge una società con sede a Toronto, fondata nel 2023, ed espande la presenza ingegneristica di AMD in Canada, secondo l’annuncio di AMD.
Fonte newsroom.amd.com
Le società hanno raggiunto un accordo definitivo sull’acquisizione ad agosto. Taalas progetta silicio specializzato per l’inferenza, il processo di esecuzione dei modelli di IA.
Come si inserisce la tecnologia
AMD prevede di integrare la tecnologia di Taalas nella propria roadmap degli acceleratori e di sviluppare soluzioni a livello di sistema insieme alle GPU Instinct. I sistemi previsti rientrerebbero in un portafoglio che comprende anche CPU EPYC, il software ROCm e la soluzione rackscale Helios.
Vamsi Boppana, vicepresidente senior dell’Artificial Intelligence Group di AMD, ha affermato che i clienti hanno bisogno di opzioni di calcolo adatte a diversi carichi di lavoro. «Con Taalas ora parte di AMD, stiamo ampliando la nostra capacità di offrire prestazioni ed efficienza differenziate nell’inferenza, rafforzando al contempo la nostra piattaforma IA full-stack», ha dichiarato.
Hardware progettato attorno ai modelli
Nel comunicato originale sull’accordo, il cofondatore e CEO di Taalas, Ljubisa Bajic, ha descritto l’approccio dell’azienda come la realizzazione di hardware attorno a un modello di IA. In un post di febbraio, ha affermato che Taalas aveva sviluppato una piattaforma per trasformare i modelli di IA in silicio personalizzato.
Il suo primo prodotto, HC1, aveva il modello Llama 3.1 8B integrato in modo fisso. Taalas ha affermato che il prodotto era disponibile sia come dimostrazione di chatbot sia come servizio API per l’inferenza, che ha descritto come una versione beta.
L’azienda ha dichiarato che l’implementazione in silicio raggiungeva 17.000 token al secondo per utente ed era quasi 10 volte più veloce di quella che definiva lo stato dell’arte attuale. Il confronto pubblicato specificava il modello Llama 3.1 8B e una lunghezza della sequenza di input di 1k/1k, con dati sulle prestazioni tratti da diverse fonti.
Il post affermava inoltre che l’implementazione combinava parametri a 3 bit e a 6 bit, comportando un certo peggioramento della qualità rispetto ai benchmark su GPU. Sebbene il modello fosse in gran parte integrato in modo fisso, manteneva una finestra di contesto configurabile e supportava il fine-tuning tramite adattatori low-rank, ha affermato Taalas.
Progettazione e piani di prodotto
Taalas ha affermato che la sua architettura combina archiviazione e calcolo su un unico chip e adatta il silicio ai singoli modelli. Nel precedente annuncio sull’acquisizione, AMD ha sostenuto che la tecnologia di Taalas riduce i colli di bottiglia legati al calcolo e alla memoria associati alle architetture general-purpose.
La prima piattaforma in silicio utilizzava un tipo di dato di base personalizzato a 3 bit, ha scritto Bajic, mentre la piattaforma di seconda generazione ha adottato formati standard in virgola mobile a 4 bit. Ha affermato che la piattaforma più recente affrontava i limiti del primo progetto mantenendo velocità ed efficienza.
A febbraio, Taalas ha descritto un modello linguistico di ragionamento di medie dimensioni, basato sulla piattaforma HC1 di prima generazione, seguito da un modello linguistico frontier che avrebbe utilizzato la piattaforma HC2 di seconda generazione. L’azienda ha affermato di prevedere di avere il modello di ragionamento nei propri laboratori in primavera e di pianificare l’implementazione di HC2 per l’inverno.
Bajic ha affermato che il primo prodotto è stato realizzato da un team di 24 persone, con una spesa di 30 milioni di dollari sui più di 200 milioni di dollari raccolti. L’acquisizione si basa sulla presenza già esistente di AMD in Canada, dove ha sede il team di ingegneria di Taalas.
Fonti
Aziende in questa notizia
Notizie correlate
- AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER
- Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD
- AMD aggiunge l’acceleratore MI450X e comunica i risultati di inferenza di MI455X
- AMD segnala il riutilizzo della cache dei token in un benchmark di agenti di programmazione
- vLLM illustra le MonoKernels opt-in di FlyDSL per decodificare più velocemente sulle GPU AMD