MARGIN: calibrazione della fiducia in fase di esecuzione per il coordinamento multiagente di modelli fondazionali

Abstract degli autori

Quando un coordinatore confronta le risposte di modelli fondazionali eterogenei, il livello di fiducia dichiarato da ciascun modello può avere significati diversi a seconda del modello che risponde e del carico di lavoro, che può cambiare. Questo studio presenta MARGIN (Multi-Agent Runtime Grading via Incremental Normalisation), un metodo di calibrazione in fase di esecuzione che apprende correzioni della fiducia specifiche per ciascun modello dai risultati osservati delle risposte, senza riaddestrare i modelli né richiedere un insieme di dati riservato alla calibrazione. MARGIN tiene traccia dell’accuratezza recente e della fiducia dichiarata nelle diverse fasce di fiducia, usa il loro rapporto per correggere la fiducia dichiarata e avvicina le correzioni delle fasce con pochi dati a una stima relativa al modello nel suo complesso. I punteggi corretti determinano il peso delle risposte candidate in una decisione collettiva. La valutazione comprende generazione di codice, risposte a domande e matematica, e impiega un insieme di 18 modelli e un sottoinsieme di nove modelli per gli esperimenti sui cambiamenti di distribuzione. Su BigCodeBench, la fiducia media dei modelli è correlata negativamente all’accuratezza; nelle coppie formate da una risposta corretta e una errata, scegliere il modello che dichiara maggiore fiducia dà risultati peggiori di una scelta casuale. Rispetto a cinque metodi di riferimento per la calibrazione online che ricevono lo stesso feedback e conservano lo stato appreso durante ogni transizione, MARGIN ottiene un errore di calibrazione atteso dopo il cambiamento di distribuzione inferiore a quello di tutti e cinque in due transizioni nella generazione di codice e a quello di quattro in una transizione nelle risposte a domande; il confronto con il quinto metodo in quest’ultima transizione non è conclusivo. In esperimenti separati sul coordinamento nella generazione di codice, la calibrazione migliora la posizione in classifica delle risposte corrette e aumenta l’accuratezza nella selezione delle risposte di 4,3 e 14,0 punti percentuali in due dei tre benchmark rispetto alla ponderazione basata sulla fiducia non calibrata. Questi risultati sostengono l’utilità della calibrazione specifica per ciascun modello in fase di esecuzione per il coordinamento in presenza di carichi di lavoro mutevoli, quando è disponibile un feedback sulla correttezza delle risposte dei modelli partecipanti.