The Pulse
Together AI descrive Polymorphic Inference per erogare modelli aperti mentre traffico e hardware cambiano
Together AI descrive Polymorphic Inference come un approccio che si adatta ai cambiamenti di modelli, carichi di lavoro e hardware. La società afferma che Together Compiler è uno dei primi progetti di questo programma di ricerca ed è già in
AI.info Team · Scritto con l’IA · verificato ·
Polymorphic Inference risponde ai cambiamenti di modelli, traffico e hardware
Il 4 novembre 2026, Together AI ha descritto Polymorphic Inference come un approccio all’erogazione di modelli aperti che si adatta ai cambiamenti di modelli, traffico e hardware. Il blog presenta il passaggio da Static Inference a Polymorphic Inference come una risposta al rilascio più rapido dei modelli, alla maggiore varietà delle architetture e ai cambiamenti dei carichi di lavoro in produzione. Together AI afferma che l’80% del traffico su OpenRouter è diretto a modelli rilasciati negli ultimi tre mesi.
Together AI definisce Static Inference come un’inferenza che coinvolge modelli chiusi, architetture Transformer tradizionali, utenti singoli e un’unica piattaforma hardware. Afferma inoltre che una configurazione tipica di vLLM, SGLang o InferenceX / AgentX viene avviata con una configurazione statica del motore di inferenza, ottimizzata nei suoi iperparametri, e che una configurazione ottimizzata per un contesto potrebbe non essere la migliore per un altro. Il blog afferma anche che i kernel open source spesso presuppongono profili di traffico statici, che possono risultare non calibrati rispetto al traffico reale in produzione.
Architetture dei modelli, profili di traffico e hardware stanno cambiando
Secondo Together AI, tutti i dieci modelli OSS più popolari oggi in uso utilizzano architetture diverse. Il traffico può cambiare quando una modifica a un prodotto o a un algoritmo ha effetto su un harness, quando cambia il comportamento degli utenti o quando il post-training modifica i profili di traffico, compreso il numero di token che un modello impiega per ragionare. Together AI afferma che anche l’hardware sta cambiando, citando i cambiamenti nell’erogazione dell’inferenza da B200 a GB300 e sostenendo che siamo alla vigilia delle prime implementazioni di Vera Rubin.
Together AI afferma che ogni variazione nell’architettura dei modelli, compresa MoE, e nei carichi di lavoro, compresi quelli dinamici con una dimensione del batch superiore a 1, richiede approcci tecnici diversi. La società indica una precedente scelta progettuale come lezione: la fusione in megakernel non è l’obiettivo progettuale giusto per la moderna Polymorphic Inference. Il blog afferma che l’esperienza maturata portando in produzione alcuni dei primi megakernel per i clienti ha dimostrato che le variazioni nell’architettura e nei carichi di lavoro richiedono approcci diversi.
Together Compiler riformula l’ottimizzazione dell’inferenza come un problema di ricerca agentica
Together Compiler è uno dei progetti che Together AI annuncia come primo passo verso i propri obiettivi per Polymorphic Inference. La società lo descrive come un ciclo RSI rapido di ottimizzazione delle prestazioni basato sull’IA. Anziché trattare l’ottimizzazione dell’inferenza come un compito convenzionale di traduzione da parte di un compilatore, Together Compiler la imposta come un problema di ricerca agentica. Identifica un insieme fondamentale di schemi di ottimizzazione chiave e abbina uno sciame di agenti a un motore persistente ad alta fedeltà per iterazioni rapide.
Il blog afferma che il sistema è oggi in esecuzione in produzione su alcuni degli endpoint serverless più popolari di Together AI, dove ha individuato ulteriori miglioramenti su codice già altamente ottimizzato. Together Compiler alimenta cicli di ottimizzazione Continuous Compilation su molti dei principali carichi di lavoro di inferenza in produzione della società. Il lavoro è il risultato di molti mesi di attività del team Frontier Performance di Together, in particolare di Reyna Abhyankar e Dylan Lim.
Together Compiler è oggi disponibile per i clienti finali in beta limitata
Together Compiler è oggi disponibile per i clienti finali in beta limitata. Il blog afferma che presto i clienti potranno usarlo per ottimizzare gli endpoint dedicati ai propri specifici carichi di lavoro con un clic. La società sostiene che l’ottimizzazione delle prestazioni deve tenere conto del carico di lavoro, compresi il modello, il motore, il profilo di traffico e il caso d’uso del cliente.
Decodifica speculativa mutevole e ThunderAgent Router
Together AI afferma che la decodifica speculativa deve adattarsi al singolo dominio, alla singola richiesta, al singolo token e in funzione del carico di traffico. Afferma che le configurazioni dei motori di inferenza proposte nei repository open source, tra cui VLLM, InferenceX e AgentX, vengono avviate con un modello preliminare fisso per la decodifica speculativa e un parametro di lookahead fisso.
Per quanto riguarda l’instradamento, Together AI afferma di aver pubblicato ThunderAgent come paper Spotlight a ICML 2026 e di aver sviluppato ulteriormente queste basi in produzione. Il blog descrive la necessità di instradare dinamicamente le richieste tra i worker e le configurazioni di deployment nei cluster, perché gli utenti dell’inferenza serverless presentano profili di traffico e accordi sui livelli di servizio diversi.