Una teoria di realizzabilità posizionale della generalizzazione in lunghezza nell’attenzione a singola testa

Abstract degli autori

Perché la generalizzazione in lunghezza (LG) dipende così nettamente dalla codifica posizionale (PE)? Gli schemi relativi estrapolano offset fissi, quelli assoluti fissano le posizioni e nessuno dei due gestisce offset crescenti. Presentiamo una teoria di realizzabilità per un’astrazione deliberatamente controllata: una singola testa di attenzione basata solo sulla posizione, che deriva questo schema empirico ampiamente documentato e indica con precisione dove vale e dove si interrompe. Lo strumento è un operatore di trasferimento per simulazione $T_L$, che rivaluta sulla griglia più lunga un kernel posizionale selezionato, capace di realizzare una lunghezza $L_0$, insieme a uno scalare $α_L \in [0,1]$ ricavato, prima di qualsiasi addestramento, dai soli $(Φ, t_n)$. In questo caso, $α_L$ funge da testimone computabile della derivazione di questa tassonomia, non da predittore empirico più forte. I nostri risultati comprendono una caratterizzazione delle righe profonde per le teste relative, per kernel con un massimo globale unico e stretto (Teorema 2), una dualità tra assoluto e relativo che deriva lo schema (Proposizione 4), un risultato di sottodeterminazione per le codifiche assolute apprese e un limite statico di espressività; un teorema di sufficienza (Teorema 1) collega $α_L$ alla LG, mentre il caso deterministico generale resta una congettura aperta formulata con precisione (che corregge un allettante ma invalido argomento «fuori dallo span»). Gli esperimenti confermano la struttura: nel regime controllato a singola testa, $α_L$ separa esattamente le celle (PE, compito) della tassonomia che generalizzano da quelle che non generalizzano (2625 misurazioni su modelli addestrati; risultati stabili con un vocabolario di 64 e d=128). Nel loro insieme, questi risultati trasformano la tassonomia consolidata delle PE in un teorema di trasferimento dei kernel posizionali e individuano i meccanismi legati al contenuto e alla profondità che ne esulano. La teoria riguarda soltanto il canale posizionale: i compiti i cui obiettivi dipendono dal contenuto dei token, inclusi quelli della suite standard di generalizzazione in lunghezza, come l’addizione e l’ordinamento, esulano dal Teorema 2.