Alla scoperta delle gerarchie semantiche nei grafi con attributi testuali grazie alla sinergia tra LLM e GNN basata sull’EM variazionale

Abstract degli autori

Sebbene le strutture gerarchiche siano intrinseche all’organizzazione della conoscenza umana, i metodi attuali di apprendimento delle rappresentazioni sui grafi con attributi testuali operano prevalentemente in spazi semantici piatti, trascurando la ricca granularità dal generale al particolare insita nei dati del mondo reale. Per colmare questa lacuna, proponiamo SHiFT, che combina la capacità di ragionamento degli LLM con la capacità dei GNN di rappresentare la struttura, nell’ambito di un approccio Expectation-Maximization (EM). Nella fase E, impieghiamo gli LLM come tassonomi esperti per costruire un albero semantico esplicito, introducendo una strategia leggera di Mapping & Diagnosis che riduce i costi di inferenza aggiornando la gerarchia in modo mirato solo quando vengono rilevate anomalie. Nella fase M, allineiamo l’encoder GNN alla gerarchia così costruita secondo prospettive complementari, tra cui la partizione del clustering, lo scheletro topologico e i concetti semantici. Un’analisi teorica interpreta SHiFT come un algoritmo EM variazionale generalizzato. Ampi esperimenti dimostrano che SHiFT non solo raggiunge prestazioni allo stato dell’arte, ma permette anche di ricavare tassonomie di alta qualità e leggibili dalle persone. Il nostro codice è disponibile all’indirizzo https://github.com/Cloudy1225/SHiFT.