ECHO: autoricorsione causale efficiente oltre la predizione ausiliaria multi-token

Abstract degli autori

I metodi esistenti di predizione multi-token (MTP) sono ausiliari per concezione: la funzione di perdita calcolata su più orizzonti addestra soprattutto i moduli collegati al backbone, e ogni orizzonte aggiuntivo richiede un altro modulo e un’altra passata. Proponiamo Efficient Causal Self-Recursion (ECHO), che elimina entrambi questi costi. È lo strato finale del backbone stesso a effettuare la predizione per ogni orizzonte, così la supervisione agisce sui parametri che generano il token successivo; Dynamic Depth Sampling (DDS) contiene il costo degli orizzonti più lontani estraendo la profondità di addestramento secondo probabilità che diminuiscono con la profondità. La predizione dei token futuri diventa così parte dell’obiettivo autoregressivo, anziché un compito aggiunto, con benefici sia nell’addestramento sia nell’inferenza. Nel preaddestramento, l’aumento della profondità si traduce in una maggiore accuratezza nei compiti a valle, là dove i moduli ausiliari raggiungono un punto di saturazione. I miglioramenti si concentrano sul ragionamento e sul codice, con la metà del costo aggiuntivo di addestramento MTP rispetto all’addestramento a ogni profondità. Nell’inferenza, il modello preaddestrato funge da modello proponente per sé stesso: propone token anche oltre la profondità per cui è stato addestrato e mantiene l’allineamento tra proposta e modello bersaglio nella generazione aperta ad alta entropia, dove i modelli proponenti aggiunti a posteriori lo perdono. Il vantaggio persiste anche con un budget di token raddoppiato, una ripetizione del preaddestramento e il fine-tuning supervisionato.