L’attenzione come teoria di gauge su reticolo: le relazioni interagiscono solo attraverso i loop di Wilson

Abstract degli autori

Le relazioni si compongono attraverso l’entità che hanno in comune: Alice è la madre di Bob e Bob è il padre di Carol, quindi Alice è la nonna di Carol. L’ordine conta, perché la madre del padre non è il padre della madre; verificare una relazione composta significa chiudere il ciclo. Mostriamo che, se il sistema di coordinate di ciascuna entità può essere ruotato indipendentemente dagli altri (libertà di scelta del sistema di coordinate per ogni entità), ne conseguono tre cose. Nel settore di gauge puro, le relazioni che non condividono alcun ciclo non possono interagire affatto. L’unico punteggio invariante di gauge per un triangolo è una funzione di classe della sua olonomia $H = T_{ij} T_{jk} T_{ki}$: un loop di Wilson. E l’unico aggiornamento equivariante di un arco è $U = Ψ(H)\, T_{ij}$, con $Ψ$ equivariante rispetto alla coniugazione. L’attenzione sugli archi tramite loop di Wilson non è quindi una scelta progettuale fra tante, ma l’unica forma consentita dalla simmetria. Tre comunità di ricerca possiedono ciascuna una parte di questa forma: gli embedding dei grafi di conoscenza basati su operatori commutanti ne costituiscono il settore abeliano (commutativo); l’aggiornamento triangolare di AlphaFold e l’Edge Transformer ne hanno la struttura — un arco aggiornato attraverso il terzo vertice — ma non i vincoli; e la QCD su reticolo la costruisce in modo equivariante sui reticoli. Realizziamo la sottofamiglia equivariante su grafi relazionali generali sotto forma di attenzione basata sull’olonomia. Senza addestramento e usando soltanto la composizione, il metodo inferisce relazioni $S_4$ non osservate su grafi sparsi con un valore di 0,88 quando un quinto degli archi è alterato, al livello degli algoritmi di sincronizzazione specializzati o leggermente al di sotto, mentre nessuna architettura commutativa supera 0,083. Il suo punteggio basato sull’olonomia individua i triangoli alterati con un’AUC di 0,99, mentre una seconda regola di selezione limita i punteggi commutativi a 0,76; inoltre, separa i cluster senza etichette.