Ruotare il loop: conformalità a blocchi per i transformer ricorrenti

Abstract degli autori

I transformer ricorrenti riutilizzano un unico blocco condiviso per molti passaggi ricorrenti, così la profondità diventa una quantità che si può spendere in fase di esecuzione anziché una pila di livelli distinti. Questi passaggi aggiuntivi sono utili solo se ciò che viene scritto in un passaggio ricorrente resta leggibile nei successivi, e questo dipende dalla mappa lineare applicata al residuo tra un passaggio ricorrente e l’altro. Mostriamo che la capacità del loop di imparare a tenere traccia dello stato dipende geometricamente dalla forma di questa mappa, e proponiamo iniezioni conformi a blocchi: il residuo si suddivide in gruppi allineati alle coordinate e ruota all’interno di ciascuno, così ogni gruppo ha la propria scala temporale e la geometria resta esatta al suo interno. I nostri esperimenti mostrano un aumento delle prestazioni in una forma impegnativa di tracciamento dello stato — l’accuratezza sull’ultimo token quando il resto del prefisso è già corretto — e nella modellazione del linguaggio, in cui un segnale scritto in precedenza deve essere recuperato alla fine della sequenza.