DTA-GT: Transformer per grafi sensibile alla direzione e alla topologia per l’apprendimento di rappresentazioni di reti neurali

Abstract degli autori

I predittori degli attributi delle architetture riducono il costo della ricerca di architetture neurali stimando accuratezza o latenza a partire da un piccolo insieme di architetture candidate valutate. La difficoltà principale è che le architetture neurali sono grafi aciclici diretti (DAG) etichettati con operazioni: la direzione degli archi definisce il flusso computazionale, ma i predittori esistenti spesso la trattano come un’indicazione strutturale locale. Proponiamo DTA-GT, un Transformer per grafi sensibile alla direzione e alla topologia basato sulla coerenza direzionale lungo l’intero encoder, che preserva la semantica del flusso computazionale diretto nell’inizializzazione dei nodi, nella codifica spettrale globale, nelle interazioni a coppie e nell’aggiornamento delle caratteristiche. DTA-GT realizza questo principio mediante un’inizializzazione dei nodi sensibile alla direzione e alla topologia, una codifica spettrale basata sul laplaciano magnetico, un meccanismo di attenzione strutturale a doppia direzione e un modulo Direction-Sensitive MoE-FFN. Nella previsione di accuratezza e latenza su NAS-Bench-101 e NAS-Bench-201, DTA-GT supera sistematicamente predittori rappresentativi basati su sequenze, GNN, Transformer e approcci ibridi in condizioni di budget limitato. Gli studi di ablazione e i controlli spettrali magnetici mostrano che i miglioramenti derivano dal coordinamento tra le fasi sensibili alla direzione e dalle informazioni spettrali sensibili all’orientamento degli archi, mentre le analisi dei meccanismi confermano che i moduli mostrano il comportamento direzionale previsto. Questi risultati indicano che la coerenza direzionale lungo l’intero encoder è un principio di progettazione efficace per rappresentare le architetture sotto forma di DAG.