Agentic AutoRAG: ottimizzazione della pipeline RAG tramite agenti guidati dal ragionamento

Abstract degli autori

La generazione aumentata dal recupero (RAG) è un approccio ampiamente usato per ancorare i modelli linguistici di grandi dimensioni (LLM) a conoscenze esterne. Configurare una pipeline, però, è un costoso problema di ottimizzazione degli iperparametri che coinvolge molte scelte interdipendenti, dalla suddivisione del testo in blocchi e dal modello di embedding al reranking e alla generazione. Gli ottimizzatori esistenti, dalla ricerca greedy all’ottimizzazione bayesiana, riducono ogni prova a un punteggio aggregato e conducono la ricerca senza modellare il motivo per cui una configurazione ha ottenuto un determinato risultato, benché i blocchi di testo recuperati forniscano già elementi per capire se ciascun errore sia avvenuto durante il recupero o dopo. Presentiamo Agentic AutoRAG, un ottimizzatore basato su agenti LLM per l’ottimizzazione multiobiettivo degli iperparametri RAG, che attribuisce gli errori al recupero o alla generazione. Propone configurazioni valutate su una prova fissa tratta dal corpus: dopo ogni prova, un Diagnoser attribuisce ciascuna domanda a cui è stata data una risposta errata al recupero o alla generazione; un Proposer, basandosi su una base di conoscenza con classifiche e prezzi dei modelli, sceglie la configurazione successiva, bilanciando accuratezza e costo per tracciare una frontiera di Pareto. Su tre benchmark di domande e risposte a più passaggi raggiunge un’accuratezza valutata da un LLM giudice superiore a quella di tutti i metodi di riferimento con cui lo confrontiamo e, nelle prime 10 prove, eguaglia o supera l’accuratezza valutata dal giudice che i metodi statistici di riferimento ottengono nell’intero ciclo di 30 prove. Nella modalità che tiene conto dei costi, su un corpus reale in ambito sanitario, raggiunge un’accuratezza mediana nella prova del 77%, superiore al 71,5% del metodo di riferimento più efficace, con un costo per query pari a circa il 58% di quello di tale metodo; eguaglia inoltre quel 71,5% a circa il 22% del costo.