Stessa qualità del ranking, decisioni diverse: misurare e ridurre la dipendenza dall’ordine nei modelli di valutazione basati su LLM

Abstract degli autori

Nel reranking dei passaggi, nel ranking delle risposte e nella risposta a domande basata su più documenti, gli LLM possono assegnare un punteggio a più documenti o risposte candidati all’interno di un unico prompt, attribuendo comunque a ciascuno il proprio punteggio. Questi modelli vengono selezionati in base alla qualità del ranking, ma sono i loro punteggi a determinare una decisione: quali elementi vengono mantenuti da una soglia di punteggio, quale risposta fornisce un lettore o quale coppia di elementi scelto/scartato entra nell’addestramento sulle preferenze. Poiché i candidati condividono lo stesso prompt, cambiarne l’ordine modifica i loro punteggi. La stessa query sugli stessi candidati dovrebbe però portare alla stessa decisione. Una qualità del ranking equivalente non implica, tuttavia, decisioni equivalenti: nel reranking dei passaggi, cinque modelli addestrati con valori di nDCG@10 che differiscono al massimo di 0,010 producono, quando i candidati vengono riordinati, insiemi di elementi mantenuti la cui sovrapposizione è compresa soltanto tra 0,66 e 0,84. Nessuna delle modifiche al prompt che abbiamo testato al momento dell’uso risolve questa dipendenza: l’unica che migliora la qualità del ranking non migliora in misura rilevabile la stabilità delle decisioni. Introduciamo order-consistency SFT (OC-SFT), che attenua tale dipendenza intervenendo sui pesi: penalizza le discrepanze tra i punteggi assegnati allo stesso candidato con ordinamenti diversi. Mantiene la qualità del ranking e, tra i modelli addestrati, ottiene i risultati migliori in tutte le misure di stabilità delle decisioni per tutti e tre i compiti. È inoltre più stabile su 12 modelli di base rispetto alla distillazione con media sugli ordinamenti, che usa per l’addestramento etichette mediate tra le permutazioni. Con una sola permutazione, OC-SFT mantiene insiemi che si sovrappongono più di quelli ottenuti mediando dieci permutazioni con modelli pronti all’uso. Un confronto tra questi modelli dovrebbe quindi riportare quali elementi vengono mantenuti da una soglia e quale risposta fornisce un lettore, non soltanto la qualità del ranking. Il codice è disponibile all’indirizzo https://github.com/thomsonreuters/presentation-dependence.