Composizionalità della generazione aumentata dal recupero

Abstract degli autori

La generazione aumentata dal recupero (RAG) ancora i modelli linguistici di grandi dimensioni a conoscenze esterne. Le pipeline moderne combinano embedding, suddivisione in blocchi, recupero, riordinamento dei risultati, arricchimento delle query, compressione del contesto e verifica tramite agenti, ma queste tecniche vengono di norma valutate una alla volta. Resta da capire se i miglioramenti osservati isolatamente persistano quando le tecniche vengono combinate, se la qualità del recupero e la fedeltà delle risposte favoriscano le stesse scelte progettuali e se le conclusioni tratte da corpora piccoli valgano anche su larga scala. Formuliamo in anticipo tre ipotesi e presentiamo LASAGNA, un framework open source per la valutazione controllata della RAG. Testiamo 450 configurazioni su otto benchmark e corpora che vanno da 5K a 200K documenti. Emergono tre risultati. Primo, tecniche efficaci singolarmente ma appartenenti a fasi diverse di una pipeline RAG non si combinano necessariamente in modo efficace: tre tecniche di recupero fanno prevedere un miglioramento combinato del +47%, ma insieme producono solo il +17%. Secondo, i miglioramenti apportati dai componenti si cumulano in modo diverso per il recupero e per la fedeltà delle risposte, e ottimizzare l’uno può penalizzare l’altra. Terzo, la combinazione migliore cambia al crescere del corpus: quella che prevale su un corpus piccolo potrebbe non restare la migliore su larga scala. Questi risultati mostrano che i miglioramenti misurati isolatamente non sono indicatori affidabili delle prestazioni in condizioni realistiche e che le nuove tecniche RAG dovrebbero essere testate insieme a tutti gli altri componenti della pipeline. Invitiamo i ricercatori a farlo e mettiamo a disposizione LASAGNA per semplificare questi esperimenti.