LongZero: migliorare il ragionamento su contesti lunghi negli LLM senza dati

Abstract degli autori

L’apprendimento per rinforzo (RL) è un metodo efficace per rafforzare la capacità di ragionamento su contesti lunghi dei modelli linguistici di grandi dimensioni (LLM), ma richiede dati di addestramento lunghi, diversificati, impegnativi e verificabili. L’annotazione umana di questi dati è costosa, i dati disponibili in natura sono troppo scarsi per sostenere l’RL e i metodi di sintesi esistenti dipendono da corpora esterni o da modelli insegnanti più potenti, che diventano più difficili da reperire man mano che i modelli addestrati migliorano. Di recente, l’RL senza dati, in cui un modello apprende da compiti che propone autonomamente, ha ottenuto ottimi risultati, ma i metodi esistenti si concentrano su compiti con contesti brevi. Proponiamo quindi $\textbf{LongZero}$, un metodo che consente a un LLM di migliorare la propria capacità di ragionamento su contesti lunghi senza alcun dato esterno. Invece di formulare domande e risposte sulla base di documenti esistenti, LongZero chiede prima al modello di sintetizzare la domanda e la risposta, insieme alle evidenze a sostegno, in una forma strutturata e compatta, e solo successivamente espande le evidenze, in una fase separata, in un lungo contesto composto da più documenti. LongZero combina questi compiti di ragionamento multi-hop generati autonomamente con compiti di ricerca su più turni anch’essi generati autonomamente e addestra il modello con GRPO. Valutiamo LongZero su due LLM e cinque benchmark di ragionamento su contesti lunghi e lo confrontiamo con l’RL su dati sintetizzati a partire da corpora esterni. I risultati sperimentali mostrano che LongZero è in grado di generalizzare a compiti reali e supera entrambe le baseline, indicando una strada percorribile e promettente per migliorare la capacità di ragionamento su contesti lunghi degli LLM.