RAG biomedica su larga scala: dimensioni del corpus, rappresentazione dei documenti e compromessi tra efficacia ed efficienza

Abstract degli autori

Presentiamo una valutazione controllata su larga scala di come le dimensioni del corpus, la rappresentazione dei documenti e il reranking incidano sull’efficacia e sull’efficienza dei sistemi biomedici di Retrieval-Augmented Generation (RAG). Le raccolte di documenti sono state ampliate progressivamente, mantenendo i documenti di origine pertinenti, così da consentire confronti coerenti tra corpus di dimensioni diverse. Abbiamo confrontato rappresentazioni basate sugli abstract, sul testo integrale in forma piatta e sul testo integrale in forma gerarchica nel recupero di primo stadio, nel reranking e nella risposta end-to-end a domande a scelta multipla. Le configurazioni selezionate sui dati di sviluppo sono state valutate su cinque benchmark biomedici esterni e su un insieme di test tenuto da parte; abbiamo inoltre misurato la latenza del recupero e lo spazio occupato dall’indice per quantificare i costi operativi. Le tendenze osservate con raccolte piccole o controllate non si sono mantenute in modo sistematico all’aumentare delle loro dimensioni, e l’utilità del reranking dipendeva dal corpus e dalla configurazione del recupero. La RAG ha migliorato le prestazioni di tre delle quattro configurazioni dei modelli sui benchmark esterni, con incrementi medi fino a 9,6 punti percentuali, e di tutte e quattro sull’insieme di test tenuto da parte, con incrementi di 10,2-30,3 punti. Il recupero basato sugli abstract ha dato i risultati migliori quando le evidenze di riferimento corrispondevano agli abstract, mentre le rappresentazioni del testo integrale sono state generalmente più efficaci quando servivano evidenze più ricche. Nella maggior parte dei confronti end-to-end, la rappresentazione gerarchica ha eguagliato o superato il recupero basato sul testo integrale in forma piatta, richiedendo il 67% di unità indicizzate in meno e il 44-56% di spazio di archiviazione in meno. Questi risultati mostrano che le dimensioni del corpus dovrebbero essere considerate una variabile esplicita nella valutazione della RAG biomedica e che la scelta progettuale più adatta dipende dal formato delle evidenze, dal comportamento del modello e dai vincoli operativi.