Graph Machine: verso un preaddestramento migliore grazie agli archi

Abstract degli autori

Presentiamo Graph Machine (GM), un’architettura che mantiene uno stato di dimensione $O(n)$ e vi accede tramite un routing sparso e dinamico. A differenza dei metodi con stati di dimensione fissa o con un routing sparso ma statico, GM conserva una complessità $O(n)$ nei suoi livelli sparsi senza limitare a $O(1)$ la dimensione dello stato potenzialmente accessibile. GM usa invece archi, oggetti simili a puntatori aggiornati in modo differenziabile attraverso un meccanismo di rinvio che ricorda l’inseguimento dei puntatori. Sostituiamo il 75% dei livelli Transformer densi di Qwen3-0.6B con livelli sparsi GM e preaddestriamo il modello da zero su 15,7 miliardi di token. Recuperando soltanto 2 token su 4.096 per ciascuna testa KV in ogni livello sparso, la loss peggiora solo leggermente; recuperandone 4, il modello migliore ottiene una loss marginalmente inferiore.