Quando il retrieval denso ha bisogno di una geometria asimmetrica? Una teoria bias-varianza delle proiezioni condivise e duali

Abstract degli autori

Il retrieval denso è alla base della generazione aumentata dal recupero, della ricerca semantica e dei sistemi di risposta alle domande, ma le basi teoriche per scegliere tra proiezioni condivise e duali di query e documenti restano poco chiare. Presentiamo una teoria bias-varianza per l’assegnazione di punteggi bilineare a basso rango. Le proiezioni condivise generano operatori semidefiniti positivi, mentre quelle duali possono rappresentare operatori arbitrari a basso rango. Deriviamo l’esatto divario di approssimazione tra le due e dimostriamo una soglia gaussiana locale: la configurazione duale ha un rischio inferiore esattamente quando il segnale direzionale al quadrato supera il costo di stima dei suoi gradi di libertà aggiuntivi. Questa soglia motiva il Cross-fitted Asymmetry Risk Selector (CARS), che stima il segnale direzionale riproducibile a partire dalle coppie di addestramento; la sua controparte gaussiana ammette formule esatte per la potenza di selezione e il regret. Guidati dalla teoria, conduciamo esperimenti di retrieval su più dataset e modelli di embedding. Il vantaggio medio della configurazione duale rispetto a quella condivisa in termini di NDCG@10 più che raddoppia quando la rotazione delle query passa da 0 a 90 gradi. Nelle griglie di rango e dimensione del campione, la configurazione condivisa prevale in 13 celle su 16 con n=32, mentre quella duale prevale in tutte le 32 celle con n=1024 e n=2048. Coerentemente con questo cambiamento, tutte le 168 curve comparabili del rischio degli operatori si spostano verso la configurazione duale all’aumentare dei dati di addestramento. Rispetto alle due configurazioni geometriche fisse usate come riferimento, CARS riduce il regret sui dati tenuti da parte del 49-96% e raggiunge un’accuratezza media del 90,1% nella scelta della geometria.