Valutazione della RAG agentica: ripartizione del budget tra domande, traiettorie e letture

Abstract degli autori

I budget di valutazione nella generazione aumentata dal recupero agentica si distribuiscono tra domande, traiettorie di ricerca e risposte ripetute. Misuriamo la precisione delle allocazioni, l’efficienza delle letture e i limiti di costo mediante un confronto basato sul feedback del recupero su HotpotQA e MuSiQue. Con 34,14--34,39 milioni di token del modello, una copertura più ampia delle domande riduce l’errore standard del 33\% rispetto a cinque letture e del 12,6\% rispetto a tre traiettorie. Le previsioni archiviate nested e Q-only stimano queste allocazioni con scarti rispettivamente non superiori al 4,0\% e al 3,5\%. I sottoinsiemi per profondità non mostrano un chiaro vantaggio nella previsione oltre l’audit con due traiettorie. Con una sola lettura, gli aumenti della varianza rispetto all’ottimo stimato a parità di budget di token sono dello 0--9,9\%, con una notevole incertezza per Pro. In base alle tariffe dei modelli registrate, aumentare le domande è preferibile ad aumentare le traiettorie quando i prezzi di ricerca sono di \$0--1 per 1.000 richieste; resta incerta la graduatoria dei costi tra domande e letture. Una temperatura pari a zero riduce la discordanza tra le risposte dal 14,3\% al 3,4\%, mentre la precisione del confronto resta simile. \par\medskip\noindent\textbf{Parole chiave:} RAG agentica; budget di valutazione; teoria della generalizzabilità; campionamento ripetuto.