The Pulse
HybridAgent di Together AI dichiara risultati migliori con meno token
Un articolo di ricercatori di Together AI, Stanford, UIUC e Meta presenta HybridAgent, che alterna il ragionamento basato su stati nascosti e il testo per usare gli strumenti. Gli autori riferiscono prestazioni medie più elevate nei benchma
AI.info Team · Scritto con l’IA ·
Il testo rende visibili i passaggi degli agenti; i passaggi latenti promettono velocità
Gli agenti di IA devono affrontare un compromesso progettuale: il ragionamento basato sul testo rende visibili i passaggi intermedi e le chiamate agli strumenti, ma generare ogni ragionamento sotto forma di testo richiede token. Il ragionamento latente può mantenere una parte maggiore del calcolo all’interno del modello, ma è più difficile da esaminare e non si collega in modo naturale agli strumenti esterni. Un articolo presentato ad arXiv il 13 ottobre 2026 propone un sistema pensato per combinare i due approcci anziché scegliere tra loro.
Gli autori, affiliati a Stanford University, Together AI, University of Illinois Urbana-Champaign e Meta, chiamano il sistema HybridAgent. Durante la generazione, il sistema alterna ragionamento latente e testo: usa il testo per le chiamate agli strumenti e le risposte, e i passaggi latenti per il ragionamento interno. L’articolo descrive i risultati come un miglioramento medio delle prestazioni accompagnato da riduzioni nell’uso di token, nel tempo di inferenza e nei costi stimati.
«Rispetto agli agenti basati su LLM di frontiera e ai framework per agenti, che comprendono metodi sia testuali sia latenti, HybridAgent migliora costantemente le prestazioni del 10,4%, riducendo al contempo l’uso di token del 35,5%–54,7%, accelerando l’inferenza di 1,8×–2,6× e consentendo risparmi sui costi di 2,7×–3,7×».
Jiaru Zou et al., «Hybrid Reasoning Agents»
HybridLink collega gli stati nascosti al testo
Il meccanismo con cui HybridAgent passa da una modalità all’altra, chiamato HybridLink, riporta gli stati nascosti dell’ultimo livello del modello nello spazio degli embedding di input. Questo permette all’agente di proseguire con passaggi latenti e poi tornare al testo quando deve chiamare uno strumento, fornire una risposta o rendere disponibili informazioni per il monitoraggio. Una memoria di lavoro continua conserva il testo, i passaggi latenti e le osservazioni degli strumenti tra un turno e l’altro.
Gli autori descrivono due fasi di addestramento. HybridSFT insegna al modello a coordinarsi con HybridLink e a usare gli strumenti; HybridRL lo addestra a scegliere quando ragionare nello spazio latente e quando agire attraverso il testo. Secondo l’articolo, il processo adatta i modelli base Qwen3 nelle versioni da 4, 8 e 14 miliardi di parametri, usando 54.000 traiettorie ibride selezionate per il fine-tuning supervisionato, seguito da apprendimento per rinforzo su esempi di ragionamento e ricerca.
I ricercatori propongono anche un modo per esaminare le sequenze latenti associandole agli embedding dei token più vicini, che rappresentano come pseudo-testo. È il metodo di interpretazione proposto nell’articolo; di per sé, non dimostra che la rappresentazione rispecchi in modo completo o fedele il calcolo interno del modello.
Undici benchmark, con una riserva sui sistemi di serving
La valutazione comprende 11 benchmark di matematica, scienze, medicina, ricerca che richiede conoscenze approfondite e ragionamento degli agenti. L’articolo cita test tra cui AIME 2025 e 2026, MATH500, GPQA-Diamond, MedQA, GAIA, Humanity’s Last Exam, WebWalker, SealQA e DeepSearchQA. I termini di confronto includono metodi di ragionamento testuali e latenti, framework per agenti come ReAct e WebThinker e diversi agenti basati su modelli linguistici più grandi.
Gli autori hanno condotto gli esperimenti su GPU H100 e riportano cinque seed indipendenti. Il dato principale del 10,4% è descritto come un miglioramento medio delle prestazioni; l’abstract non specifica se si tratti di un miglioramento relativo o espresso in punti percentuali. I risultati sono quelli ottenuti dagli autori nei benchmark, non una garanzia che gli stessi miglioramenti si ripetano in altri compiti o contesti di utilizzo.
Il confronto dei costi nell’articolo è una stima, non una fattura di un servizio in produzione. Presuppone un costo di 2,50 dollari per un’ora di H100 e che l’uso delle GPU raggiunga il 10% della capacità massima di calcolo BF16; esclude il prefill del prompt, l’attenzione dipendente dal contesto e l’esecuzione di strumenti esterni. I ricercatori affermano inoltre che gli attuali sistemi di serving non supportano la generazione ibrida multi-turno, quindi i loro esperimenti richiedono un’infrastruttura personalizzata per l’addestramento e l’inferenza.
Codice e checkpoint sono disponibili
Il repository GitHub di Together AI mette a disposizione il codice del metodo, gli strumenti per l’addestramento e le istruzioni per eseguire l’inferenza batch. Elenca checkpoint per agenti da 8B e 14B, oltre a dataset di addestramento e strumenti per visualizzare le sequenze latenti come pseudo-testo. L’affermazione più ampia dell’articolo — che un singolo agente possa mantenere l’uso degli strumenti tramite testo generando meno token per il ragionamento interno — si fonda ora su risultati che ricercatori esterni possono esaminare e verificare rispetto alla configurazione pubblicata.