Mitigare l’over-squashing senza modificare le connessioni: la prospettiva della resistenza efficace del fascio

Abstract degli autori

Le reti neurali su grafi (GNN) spesso faticano a cogliere le dipendenze a lungo raggio a causa dell’over-squashing: un fenomeno per cui la ripetuta compressione delle rappresentazioni dei nodi in messaggi di dimensioni finite provoca il collasso delle rappresentazioni stesse. L’over-squashing viene il più delle volte ricondotto alla topologia del grafo, e la resistenza efficace è usata come misura fondata del collo di bottiglia. Offriamo una prospettiva complementare: partendo dai fasci cellulari, introduciamo la resistenza efficace del fascio, una generalizzazione della resistenza efficace che dipende dal fascio associato al grafo, e dimostriamo che, per i fibrati vettoriali piatti, la sensibilità all’over-squashing nel senso del jacobiano è limitata superiormente da una quantità legata alla resistenza efficace del fascio tra i nodi. Il collo di bottiglia, dunque, non si trova necessariamente nel grafo stesso: può essere spostato e ridotto modificando il fascio. Realizziamo questa idea in FlatNSD, una semplice variante di Neural Sheaf Diffusion basata sullo scambio di messaggi, e mostriamo che impara implicitamente a modulare la resistenza efficace totale del fascio, ottenendo buoni risultati in benchmark progettati per mettere alla prova l’over-squashing senza alterare la topologia del grafo originale.