Teste di induzione spaziale: apprendimento in contesto degli automi cellulari multidimensionali

Abstract degli autori

Le teste di induzione offrono una spiegazione meccanicistica dell’apprendimento in contesto nei dati sequenziali, ma le teorie esistenti presuppongono in larga parte che il contesto rilevante per una previsione formi un blocco contiguo. Nei dati multidimensionali, la serializzazione fa venir meno questo presupposto, distribuendo i vicini spaziali in posizioni distanti della sequenza di token. Studiamo come i transformer superino questo problema di instradamento negli automi cellulari multidimensionali, stocastici e deterministici, in cui ogni traiettoria è generata da una regola locale sconosciuta e presentata come una sequenza appiattita, senza un bias induttivo spaziale esplicito basato sulle coordinate. Introduciamo le teste di induzione spaziale, circuiti di raccolta e confronto a due strati: il primo ricostruisce il vicinato spaziale rilevante e il secondo confronta la configurazione risultante con le sue occorrenze precedenti. Presentiamo due realizzazioni esplicite della fase di raccolta e mostriamo che la dimensione posizionale necessaria per l’instradamento spaziale dipende soltanto dal vicinato locale e dalla dimensione spaziale, non dal volume della griglia né dall’orizzonte della traiettoria. Costruiamo inoltre uno strato di confronto che implementa il conteggio bayesiano. Il circuito completo può approssimare la distribuzione a posteriori bayesiana con precisione arbitraria per le regole stocastiche e può effettuare previsioni esatte per quelle deterministiche. Nei test empirici, transformer addestrati a due strati generalizzano a regole mai viste in contesti a una e due dimensioni, ottenendo rollout deterministici quasi perfetti e una divergenza KL inferiore a 0,005 nat rispetto al predittore bayesiano ottimale per le regole stocastiche. Gli schemi di attenzione e le sonde applicate ai singoli strati sono coerenti con il processo di raccolta e confronto previsto, fornendo prove meccanicistiche dell’induzione spaziale nei transformer addestrati.