Indice di ricerca che si evolve autonomamente

Abstract degli autori

Il recupero delle informazioni è sempre più importante man mano che gli agenti basati su LLM affrontano compiti complessi con esigenze informative diverse. Poiché il recupero si basa su un indice che rappresenta ogni documento mediante chiavi di indicizzazione, la sua qualità dipende in larga misura dall’efficacia con cui queste chiavi rendono accessibili le conoscenze contenute in ciascun documento. Le rappresentazioni efficaci dell’indice, però, variano da un ambiente di recupero all’altro: è quindi difficile che una strategia di ottimizzazione fissa offra risultati costanti. L’adattamento di un indice al proprio ambiente di recupero resta tuttavia affidato in gran parte agli esseri umani, che devono individuare le cause dei mancati recuperi, perfezionare la strategia di ottimizzazione e rielaborare di conseguenza l’indice. Proponiamo SELF-INDEX, un framework che consente a un indice di evolversi autonomamente, senza intervento umano. Il suo Optimizer individua autonomamente le carenze nel recupero, modifica in modo selettivo le chiavi di indicizzazione responsabili e convalida ogni modifica prima di aggiornare l’indice. Oltre a reagire alle esigenze di recupero osservate, SELF-INDEX esplora in modo proattivo ulteriori esigenze tramite un Query Simulator, consentendo all’indice di evolversi anche in base a interrogazioni non ancora disponibili per l’ottimizzazione. Su raccolte di documenti e sistemi di recupero diversi, SELF-INDEX migliora costantemente le prestazioni del recupero, superando i metodi esistenti di ottimizzazione degli indici. Mostriamo inoltre che questi vantaggi si estendono alle applicazioni a valle: migliorano l’efficacia e l’efficienza degli agenti di ricerca e aiutano i sistemi di memoria degli agenti a recuperare interazioni passate utili.