Misurare i collassi e le correzioni nei dibattiti tra LLM in panel omogenei

Abstract degli autori

Il dibattito tra più agenti basati su modelli linguistici di grandi dimensioni (LLM) viene spesso valutato in base al miglioramento delle risposte finali. Ma cambiare risposta non significa necessariamente migliorare: la stessa discussione può correggere una maggioranza inizialmente in errore o portarne una inizialmente nel giusto a sbagliare. Le valutazioni standard dell’accuratezza finale confondono questi due meccanismi opposti. Introduciamo un protocollo verificabile per dibattiti tra agenti omogenei su domande a scelta multipla (MCQ), che registra ogni esecuzione in un registro delle transizioni relativo a collassi, correzioni, insorgenza e utilità con segno degli interventi. Su 6.925 dibattiti MMLU-Pro, il protocollo individua 253 collassi e un registro parallelo delle correzioni che cambia il modo in cui andrebbero giudicati gli interventi. Gli esperimenti di replay rivelano il compromesso centrale: un blocco attivato dai probe con esclusione di un modello alla volta evita 29 collassi ma perde 108 correzioni, attribuendo loro lo stesso peso. Considerare soltanto la prevenzione dei collassi può quindi portare a raccomandare la strategia sbagliata. Uno screening compatto, basato su 8 probe prima del dibattito, fornisce un segnale per la selezione dei casi: la sua associazione non corretta, a livello di famiglia, con il rischio condizionato di collasso è elevata (G=7, rho di Spearman=0,893, p esatto bilaterale=0,0123), ma l’accuratezza della maggioranza iniziale è un termine di confronto vicino (rho=0,821; rho parziale a livello di famiglia=0,767, p=0,0877). Non lo consideriamo quindi una previsione calibrata o corretta per le capacità. Le tracce dei singoli round collocano molti collassi nel primo round del dibattito, dove un disaccordo precoce può precedere sia una serie di errori a cascata sia una correzione utile. Rendiamo disponibili schemi riproducibili, strumenti di codifica, verifiche, schede dei costi e script di ricostruzione senza API, affinché le future righe relative a modelli e scaffold possano essere confrontate usando gli stessi denominatori e lo stesso registro dell’utilità con segno.