Inferenza bayesiana in fase di test della similarità allineata al compito a partire da deboli segnali di feedback interattivi

Abstract degli autori

I sistemi basati su modelli linguistici prendono ripetutamente decisioni in fase di test confrontando la similarità: recuperano esempi, ordinano i candidati e rivedono le risposte. Ma la similarità non è univoca: la somiglianza lessicale, semantica, strutturale e stilistica può indicare candidati diversi, e il criterio pertinente al compito può cambiare da un caso all’altro. Presentiamo BASIS (Bayesian Axis Selection via Interactive Signals), un metodo bayesiano che non richiede addestramento e usa deboli segnali di feedback in fase di test per inferire quale criterio, tra quelli di una libreria fornita e specifica per il compito, determini la decisione corrente. Il metodo mantiene una distribuzione di probabilità a posteriori congiunta sui candidati bersaglio e sui criteri, la aggiorna sulla base di punteggi scalari, preferenze tra coppie o output dei verificatori e sceglie le interrogazioni esplorative in base al guadagno informativo atteso. In un modello finito con rumore, caratterizziamo le condizioni in cui è possibile identificare la coppia bersaglio-criterio e mostriamo perché le regole basate su un criterio fisso o su una miscela fissa possono fallire quando il criterio cambia. Nel recupero di concetti, nella selezione di esempi per il ragionamento e nel perfezionamento delle risposte, BASIS porta il valore Success@1 nel recupero di concetti con sei interrogazioni esplorative dal 56,0% al 68,1%, l’accuratezza nel ragionamento dal 72,3% al 73,1% e il tasso di vittoria nel perfezionamento delle risposte dal 61,4% al 63,8% rispetto a miscele statiche ottimizzate. Supera inoltre la selezione best-of-N a parità di risorse computazionali nel ragionamento (72,1%) e nel perfezionamento delle risposte (61,2%). I miglioramenti sono maggiori quando il criterio non corrisponde a quello richiesto e quando gli insiemi di candidati sono più ampi; i controlli a parità di condizioni indicano che l’adattamento dei pesi attribuiti ai criteri spiega gran parte del beneficio, mentre l’inferenza congiunta del bersaglio e del criterio apporta un ulteriore vantaggio. BASIS seleziona soltanto tra i criteri forniti e non ne scopre di nuovi.