Fino a decine di migliaia di iterazioni in fase di test con connessioni residue dell’attenzione native per i cicli

Abstract degli autori

In questo articolo sosteniamo che i Transformer con cicli iterativi abbiano bisogno di connessioni residue proprie per evitare che le prestazioni peggiorino all’aumentare delle iterazioni. Osserviamo che aumentare il numero di iterazioni può ridurre l’accuratezza del ragionamento: aggiornamenti rumorosi dello stato sovrascrivono deduzioni intermedie corrette e possono persino vanificare soluzioni già completate. Le iterazioni successive devono così recuperare le informazioni perse da una rappresentazione già degradata: quando si verifica un errore in un ciclo precedente, spesso a causa della propagazione a lungo raggio attraverso la ricorrenza, i cicli successivi faticano a correggerlo. Presentiamo InfiLoop, una connessione residua nativa per i cicli che apprende quali elaborazioni passate conservare e quanto accogliere da ogni nuovo aggiornamento. InfiLoop combina una ponderazione basata sul contenuto con un decadimento temporale appreso per mantenere una sintesi continuamente aggiornata degli stati ricorrenti. Una ricorrenza esatta in streaming mantiene costante la memoria di aggregazione persistente all’aumentare del numero di cicli. L’aggiornamento adattivo che ne risulta sopprime le proposte inaffidabili e preserva gli stati intermedi utili. In un’ampia serie di compiti di ragionamento, un modello InfiLoop da 7 milioni di parametri supera le architetture ricorsive esistenti, raggiungendo un’accuratezza esatta del 97,9% su Sudoku-Extreme e un pass@2 del 13,6% su ARC-AGI-2. In particolare, su Sudoku-Extreme, InfiLoop continua a migliorare con iterazioni in fase di test oltre i 20.000 passaggi effettivi, mostrando che una maggiore profondità si traduce direttamente in una maggiore capacità di ragionamento. Il nostro codice è disponibile all’indirizzo https://github.com/pixeli99/InfiLoop.