The Pulse
Together AI presenta un compilatore con throughput di inferenza fino a 2,6 volte superiore
Together AI ha presentato Together Compiler, un sistema che utilizza agenti e motori di inferenza persistenti per ottimizzare l’elaborazione di carichi di lavoro variabili. L’azienda riferisce un throughput fino a 2,6 volte superiore su div
AI.info Team · Scritto con l’IA · verificato ·
Together AI ha pubblicato il 4 novembre la presentazione di Together Compiler, descrivendo un sistema che adatta continuamente l’inferenza ai carichi di lavoro variabili. Il compilatore, chiamato TKCC, utilizza agenti per generare ottimizzazioni in base alle caratteristiche del traffico, al modello e all’hardware. L’azienda afferma che sta già elaborando migliaia di miliardi di token.
I motori persistenti mantengono gli esperimenti in movimento
Together AI presenta TKCC come un modo per ottimizzare le numerose combinazioni di modelli, hardware e traffico dei clienti che i fornitori di servizi di inferenza si trovano ad affrontare. Secondo il suo articolo, i 10 principali modelli linguistici di grandi dimensioni open source su OpenRouter non condividono la stessa architettura. L’azienda afferma inoltre di elaborare molte migliaia di miliardi di token al giorno per migliaia di clienti, i cui carichi di lavoro differiscono per dimensione dei batch, lunghezza delle sequenze, squilibrio tra esperti, sparsità dell’attenzione e durata delle sessioni.
Il meccanismo principale di TKCC è un motore di inferenza persistente che viene avviato una sola volta e ricarica a caldo i passaggi forward candidati senza riavviarsi. Together AI afferma che i sistemi convenzionali di ottimizzazione basati su agenti spesso riavviano motori come vLLM, SGLang o TRT-LLM per ogni esperimento e che l’avvio del motore può richiedere decine di minuti. Nella tabella dell’azienda, il tempo totale fino alla messa in servizio è di 467 secondi per la soluzione attuale e di 9,0 secondi per Together Compiler.
Secondo l’articolo, più agenti generano idee di ottimizzazione in parallelo e comunicano attraverso una bacheca. TKCC utilizza anche due tipi di motori persistenti: i motori veloci caricano pochi livelli per iterazioni rapide e misurazioni dei tempi a bassa varianza, mentre quelli più lenti ne caricano di più per testare le ottimizzazioni su distribuzioni di dati reali. Together AI afferma che il sistema è progettato per bilanciare la velocità degli esperimenti con la fedeltà delle misurazioni.
Il traffico cambia l’obiettivo dell’ottimizzazione
L’articolo descrive tre fonti di variazione dei carichi di lavoro: gli andamenti regionali, il rilascio di nuovi modelli e i picchi di richieste dei clienti. Together AI ha osservato che, durante l’orario lavorativo di un paese, i prompt sono 1,4 volte più lunghi rispetto a quelli dell’orario lavorativo di un altro paese: 97k contro 70k. L’azienda afferma che la lunghezza dei prompt aumenta dell’80% due settimane dopo il rilascio di un modello, quando gli utenti passano dalla valutazione tramite chat a carichi di lavoro basati su agenti.
Secondo l’articolo, i picchi possono raddoppiare improvvisamente la lunghezza dei prompt e ridurre la frequenza dei riscontri nella cache. Together AI sostiene che ogni nuova implementazione richieda ottimizzazioni specializzate man mano che il comportamento degli utenti cambia. Il suo compilatore riceve in input le caratteristiche del traffico insieme al modello e all’hardware.
Un modello di costo riduce le opzioni di configurazione
TKCC utilizza un modello di costo personalizzato per selezionare strategie di parallelismo, tra cui TP, EP e DCP. Together AI afferma che misurare ogni possibile configurazione non è praticabile, mentre scegliere basandosi solo sulle specifiche hardware o sui microbenchmark può far trascurare dettagli del traffico come le differenze nella lunghezza dei prompt e lo squilibrio tra gli esperti MoE. Il modello dell’azienda combina specifiche hardware, microbenchmark e misurazioni dei passaggi forward per restringere la ricerca delle configurazioni.
Anche il processo di misurazione del compilatore utilizza motori veloci con pochi livelli caricati e motori più lenti con un numero maggiore di livelli. Together AI afferma che le distribuzioni dei dati di input possono cambiare quali strategie di ottimizzazione offrono le prestazioni migliori, in particolare per i modelli con operazioni mixture-of-experts e di attenzione sparsa. L’azienda presenta i test su distribuzioni di dati reali come un modo per verificare se le ottimizzazioni restano valide al di là degli esperimenti rapidi.
I miglioramenti nei benchmark riguardano diversi modelli e carichi di lavoro
Together AI riferisce che TKCC raggiunge un numero di token al secondo fino a 2,6 volte superiore su Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash in meno di 24 ore. Nel benchmark InferenceX a bassa latenza di SemiAnalysis, l’azienda riferisce 1111 TPS su MiniMax M3.1-Flash e 1205 TPS su DeepSeek v4.1-Flash. Per questi risultati, Together AI afferma che il suo modello di costo ha selezionato la configurazione di parallelismo al posto di quella di InferenceX.
Sul carico di lavoro Llama 1B con batch di dimensione 1, Together AI riferisce un numero di TPS 1,7 volte superiore a quello dei megakernel open source. Secondo l’articolo, TKCC definisce la frontiera delle prestazioni in tutte le configurazioni InferenceX AgentX testate, superando i riferimenti ottimizzati con un numero di TPS fino a 2,6 volte superiore. Together AI riferisce inoltre che il sistema si generalizza alla modellazione meteorologica, alle equazioni differenziali alle derivate parziali, al lavoro sulle serie temporali e alla biologia, e ne descrive l’uso come compilatore di IA di uso generale, oltre l’inferenza dei modelli linguistici.