LEV: pensare in fretta e in profondità con modelli decisionali a ciclo

Abstract degli autori

I modelli decisionali rispondono a domande scritte su un input assegnando una probabilità a ciascuna opzione, calcolata in un unico passaggio in avanti senza generare testo. Come il rapido Sistema 1 della teoria del doppio processo, rispondono immediatamente, ma la loro profondità viene fissata durante l’addestramento: impiegano quindi la stessa quantità di calcolo per le domande facili e per quelle difficili. I modelli che ragionano attraverso il testo generato possono riflettere più a lungo, ma ogni passaggio aggiuntivo ha un costo in token decodificati. Presentiamo LEV, un modello decisionale che approfondisce il ragionamento ripetendo l’esecuzione dei propri livelli in un ciclo, anziché generare token. LEV si basa su un modello linguistico preaddestrato per funzionare in un ciclo, legge le opzioni dopo ogni iterazione e addestra congiuntamente tutti i passaggi, così un unico checkpoint può rispondere a qualsiasi profondità. Su tre architetture di base a ciclo, l’accuratezza aumenta con la profondità mantenendo gli stessi pesi, soprattutto sulle domande difficili; su JevBench, un LEV da 2,6B passa dal 63,2% alla profondità uno al 76,2% alla profondità quattro. La profondità su richiesta, stabilita per ciascuna domanda da un piccolo meccanismo di arresto con una soglia calibrata su richieste prive di etichette, riduce il calcolo del 15%-24% al costo di meno di un punto di accuratezza, ottenendo risultati pari o leggermente superiori a quelli di una combinazione fissa di profondità. Su un insieme di test bloccato, i modelli 1,4B e 3B superano di 5,4-8,8 punti in accuratezza i modelli densi (non a ciclo) e le cascate con la stessa latenza, inferiore a 50 ms.