Pensieri basati su principi per sistemi LLM ricorsivi latenti

Abstract degli autori

I modelli linguistici di grandi dimensioni possono ragionare in uno spazio continuo anziché nel testo decodificato, iterando sui propri stati nascosti o passandoli tra agenti, mentre l’addestramento supervisiona soltanto l’entropia incrociata (CE) della risposta finale decodificata e non pone vincoli al pensiero. Analisi teoriche ed empiriche dimostrano e confermano quattro limiti dell’addestramento basato solo sulla CE che riducono la probabilità della risposta corretta, tra cui l’appiattimento dei pensieri relativi a domande distinte e la conservazione di informazioni irrilevanti. Introduciamo REST (REpresentation-Supervised Thoughts), un obiettivo di addestramento che traduce quattro proprietà di una rappresentazione valida del pensiero — causalità, minimalità, separabilità e stabilità — in funzioni di perdita differenziabili aggiunte alla CE. Lo applichiamo a sistemi latenti a singolo agente e multiagente, senza modifiche architetturali né parametri aggiuntivi durante l’inferenza. Su 7 benchmark di matematica, scienze, medicina e generazione di codice, a parità di dati di addestramento, risorse di calcolo e budget per gli stati latenti, REST aumenta l’accuratezza rispetto all’addestramento basato solo sulla CE fino a 7,5 punti percentuali, in diverse configurazioni degli agenti e dimensioni dei modelli, e aumenta del 30\% la convergenza verso una risposta finale. Inoltre, i pensieri prodotti da REST codificano una parte maggiore di ciò che serve per ottenere la risposta corretta e la loro decodifica permette di ricostruire meglio l’output previsto dell’agente, rendendo più facile interpretare la comunicazione latente. Sito web del progetto: https://fard-lab.github.io/REST