Il fenomeno del collasso dei token nel soft prompting testuale dei grafi

Abstract degli autori

Tra i metodi recenti per inserire la struttura dei grafi nei prompt dei LLM figura il soft prompting dei grafi, in cui una rete neurale per grafi (GNN) apprende token specifici del grafo che colgono le relazioni tra le entità presenti nei prompt testuali. G-Retriever combina questi soft prompt con una descrizione in parole dello stesso grafo per rafforzare il segnale del prompt testuale. Analizziamo G-Retriever in profondità e individuiamo un comportamento anomalo che chiamiamo collasso dei token. Su tre benchmark, con tre encoder di grafi, due famiglie di LLM e modelli sia non modificati sia adattati con LoRA, i token del grafo di G-Retriever diventano quasi indistinguibili tra input diversi. Mostriamo che lo stesso problema si ritrova nei metodi successivi, anche quando usano il pooling di più token. Nella configurazione standard, sostituire un token con la media del dataset, con un token tratto da un altro esempio o con uno ricavato da un grafo alterato non produce alcun effetto rilevabile sull’accuratezza a livello di risposta. Inoltre, un prompt costante appreso che non accede mai al grafo eguaglia o supera G-Retriever in tutti e tre i benchmark. Questi risultati indicano che, anziché trasmettere informazioni sul grafo come previsto, il token collassato funziona principalmente come un soft prompt generico. Esaminiamo anche le condizioni associate a questo collasso e proponiamo una procedura in due fasi che produce token non collassati, mantenendo prestazioni competitive nella maggior parte dei casi. Tuttavia, la sola variabilità dei token non dimostra che il modello usi le informazioni del grafo: mediante interventi e test di decodifica, mostriamo che, a seconda della configurazione, un token può riflettere la domanda, una probabilità a priori della risposta o contenuti ricavati dal grafo che l’LLM può utilizzare oppure no. Nel complesso, i nostri risultati offrono un approccio pratico per valutare l’allineamento dei token al grafo, anziché dedurlo dalla sola accuratezza nel compito. Il codice per riprodurre i nostri esperimenti è disponibile all’indirizzo https://github.com/difra100/Token_Collapse_KGQA.