Agenti di ragionamento ibrido

Abstract degli autori

Come possiamo costruire un agente che ragioni oltre il linguaggio umano, ma continui ad agire attraverso di esso nell’ambiente esterno? Gli agenti basati sui moderni LLM ragionano e interagiscono ancora attraverso il testo, mentre il ragionamento latente offre un mezzo interno efficiente, ma non dispone di accesso nativo agli strumenti né di trasparenza del ragionamento. Uniamo questi due approcci con Hybrid Reasoning Agents (HybridAgents), che passano dinamicamente dal ragionamento latente all’interazione testuale e viceversa nell’ambito di un processo di generazione unificato. Sul piano dell’architettura, un componente leggero, HybridLink, consente transizioni fluide tra la modalità testuale e quella latente, mentre la memoria di lavoro continua dell’agente conserva senza perdita di informazioni il contesto ibrido nel corso di più turni. Queste soluzioni mantengono le capacità degli agenti di utilizzare strumenti e rendono al tempo stesso direttamente ispezionabili i pensieri latenti. Su questa architettura sviluppiamo inoltre algoritmi di post-training dedicati al ragionamento ibrido: HybridSFT stabilizza la generazione ibrida integrata con gli strumenti insegnando al modello di base a coordinarsi con HybridLink; HybridRL, poi, potenzia il ragionamento apprendendo quando ragionare nello spazio latente e quando agire attraverso il testo. Valutiamo HybridAgent su 3 dimensioni dei modelli e 11 benchmark che coprono matematica, scienze, medicina, ricerca e ragionamento agentico. Rispetto agli agenti basati su LLM all’avanguardia e ai framework agentici che comprendono metodi sia testuali sia latenti, HybridAgent migliora costantemente le prestazioni del 10,4%, riducendo al contempo il numero di token del 35,5%-54,7%, accelerando l’inferenza di 1,8x-2,6x e consentendo risparmi sui costi di 2,7x-3,7x. Il codice e i dati sono disponibili all’indirizzo https://github.com/togethercomputer/HybridAgent.