DeFT-RAG: scomporre progressivamente le domande multi-hop in sottodomande autonome con risposte riutilizzabili

Abstract degli autori

La generazione aumentata dal recupero (RAG) consente a un modello linguistico di grandi dimensioni (LLM) di rispondere alle domande recuperando passaggi pertinenti da un ampio corpus. Tuttavia, la RAG fatica con le domande multi-hop, che richiedono di concatenare fatti distribuiti in più documenti attraverso entità intermedie che la domanda non menziona mai. I metodi RAG basati su grafi recuperano informazioni una sola volta a partire dalle entità nominate nella domanda e quindi raramente ricostruiscono l’intera catena di evidenze. I metodi RAG iterativi la ricostruiscono passo dopo passo, ma la loro accuratezza è limitata dai numerosi compiti che affidano all’LLM, come pianificare le sottodomande, stabilire le dipendenze tra loro, riscriverle man mano che arrivano le risposte e tenere traccia di ciò che si sa. Proponiamo DeFT-RAG, un framework RAG basato su tre componenti. Primo, DeFT-RAG genera una sottodomanda autonoma alla volta, a partire dalla domanda originale e dalle sottodomande a cui si è già risposto, con le rispettive risposte (coppie domanda-risposta, o QA). Ogni sottodomanda nomina tutte le entità a cui fa riferimento, eliminando così la necessità di pianificare, tenere traccia delle dipendenze o riscrivere le domande, e consentendo all’LLM di concentrarsi su un solo compito circoscritto alla volta. Secondo, DeFT-RAG sposta fuori dall’LLM il lavoro restante: aggiornamenti basati su regole di una tabella QA che tiene traccia di ciò che si sa e decisioni sì/no affidate a un modello decisionale leggero sottoposto a fine-tuning. Terzo, DeFT-RAG memorizza nella cache le coppie QA e riutilizza una risposta quando una domanda successiva pone una sottodomanda con lo stesso significato. Su MuSiQue, 2WikiMultiHopQA e HotpotQA, DeFT-RAG raggiunge la migliore accuratezza tra tredici baseline con gpt-4o-mini e Qwen3.6 come modelli di base, fornendo al contempo all’LLM meno token di input rispetto a qualsiasi altro metodo iterativo. Con una cache QA condivisa tra 1.000 domande di MuSiQue, il 23,1% delle sottodomande riceve risposta dalla cache, riducendo del 12,9% le chiamate all’LLM senza abbassare l’accuratezza.