PANDA: architettura attentiva a doppio percorso guidata da conoscenze a priori

Abstract degli autori

Le reti neurali a ipergrafi (HNN), progettate per modellare relazioni di ordine superiore che vanno oltre le interazioni tra coppie, si basano in genere su pesi strutturali fissi oppure su un’attenzione normalizzata. I pesi fissi possono propagare informazioni fuorvianti in contesti eterofili, mentre la normalizzazione rende competitivi i coefficienti di attenzione: in un sistema di passaggio di messaggi, aumentare il peso di un mittente comporta una riduzione del peso degli altri nello stesso insieme di aggregazione. Il nostro contributo principale è PANDA (Prior-guided AttentioNal Dual-path Architecture), un componente integrabile nelle HNN con passaggio di messaggi in due fasi, applicabile sia a contesti non orientati sia a contesti orientati. Il percorso principale interpola tra l’attenzione appresa e normalizzata rispetto al destinatario e i prior strutturali di incidenza, mentre un percorso ausiliario non competitivo (non normalizzato) permette a ciascun mittente di apportare le proprie informazioni trasformate. Mostriamo inoltre che, con coefficienti strutturali fissi, PANDA riproduce un operatore di convoluzione a valori complessi adottato in lavori precedenti. Integrando PANDA in quattro HNN che comprendono metodi spaziali e spettrali, sia in contesti orientati sia in contesti non orientati, si ottiene un miglioramento medio di 5,18 punti percentuali su otto dataset benchmark reali. Il codice è disponibile all’indirizzo https://github.com/jainris/panda.