Thinking-in-Bets in fase di test riduce le revisioni compiacenti degli agenti LLM

Abstract degli autori

Gli agenti basati su modelli linguistici spesso abbandonano un lavoro corretto quando un utente lo contesta. Limitarsi a dire loro di restare fermi sulle proprie posizioni, però, li porta a ignorare gli errori reali. Dopo aver letto una contestazione, un agente tende a dare meno peso alle verifiche che aveva svolto in precedenza pur di dare ragione all’utente. Presentiamo Thinking-in-Bets, un metodo che non richiede addestramento: prima di leggere il feedback dell’utente, l’agente scrive una breve nota privata con le sue affermazioni principali, le verifiche che le sostengono e il proprio grado di fiducia. Quando riceve una contestazione, consulta questa Claim Checklist per preservare il lavoro già verificato mentre esamina le parti incerte o appena messe in discussione. Valutiamo cinque modelli Gemini (3.5 Flash-Lite, 3.5 Flash, 3.6 Flash, 3.8 Flash e 4.0 Argon) su otto benchmark: SWE-Together, SWE-Interact e DeepSWE per l’ingegneria del software, Agents' Last Exam per i rapporti professionali, Humanity’s Last Exam e SycEval per il ragionamento accademico, Vals Finance per l’analisi finanziaria e Terminal-Bench per le attività da riga di comando. Annotare le affermazioni prima di leggere le critiche elimina quasi del tutto i ripensamenti ingiustificati nella revisione delle patch e preserva le bozze di rapporti che superano la valutazione anche di fronte a contestazioni errate. Scrivere la stessa nota dopo aver letto la contestazione, invece, permette di recuperare solo una minima parte del beneficio. Nelle attività di programmazione che si svolgono in più turni, annotare le affermazioni prima di rispondere riduce sostanzialmente le modifiche non necessarie ai file dopo contestazioni errate. Inoltre, far sì che la nota venga scritta solo quando l’agente è incerto riduce il numero di token impiegati, correggendo al tempo stesso più bug reali rispetto alla baseline. Anche nelle attività non interattive, prive di feedback dell’utente, elencare le affermazioni chiave in una bozza e ricontrollare la meno solida prima della consegna migliora sia l’accuratezza delle risposte sia le stime del grado di fiducia in tutti i modelli testati.