ShiftRAG: aggirare il collo di bottiglia testuale con l’apprendimento disaccoppiato e token soft continui

Abstract degli autori

Nonostante i progressi nella generazione aumentata dal recupero (RAG), ridurre le allucinazioni durante ragionamenti complessi resta una sfida persistente. Abbiamo individuato un collo di bottiglia testuale nelle pipeline RAG esistenti: passando al generatore solo testo grezzo, queste scartano i segnali discriminativi del sistema di recupero. Inoltre, i recenti tentativi di unificare recupero e generazione all’interno di un unico LLM provocano un grave conflitto tra obiettivi ed esacerbano il collasso del rango nelle architetture solo decoder, peggiorando le prestazioni in entrambi i compiti. Per affrontare questi limiti, presentiamo ShiftRAG, un framework RAG disaccoppiato che impiega un unico backbone LLM, ma separa l’apprendimento discriminativo per il recupero dalla generazione autoregressiva. Per collegare queste modalità disaccoppiate, proiettiamo gli allineamenti del recupero in token soft continui, creando un’interfaccia ad alta larghezza di banda che trasmette al generatore i segnali provenienti dal lato del recupero. Al contempo, il nostro obiettivo di ortogonalità soft mitiga il collasso del rango, mentre le dinamiche di rilevanza a livello di layer preservano lo spazio latente a grana fine necessario per separare le evidenze in modo altamente discriminativo. Valutazioni estese dimostrano che ShiftRAG migliora significativamente le prestazioni di recupero e risposta alle domande rispetto alle baseline all’avanguardia. ShiftRAG preserva le capacità fondamentali del backbone e mantiene un buon compromesso tra efficienza e prestazioni nei compiti generali di codifica del testo e generazione.