ClaimScope: verifica dei testimoni senza accesso alle etichette per la valutazione delle affermazioni matematiche

Abstract degli autori

Gli agenti matematici vengono comunemente valutati in base alla correttezza delle risposte o all’accettazione delle dimostrazioni. Presentiamo ClaimScope, un benchmark di 72 compiti per valutare affermazioni proposte attraverso un giudizio, la definizione del loro ambito di validità, un controesempio e una correzione. I compiti riguardano il trasporto dello stato dell’ottimizzatore, le ricorrenze affini a orizzonte finito e l’algebra lineare esatta $2\times2$. Valutiamo Qwen3-8B con la generazione diretta e quattro condizioni comparabili a due passaggi, ciascuna avviata dalla stessa bozza. Un verificatore dei testimoni valuta soltanto lo stato presentato dal modello, senza consultare giudizi di riferimento né fornire un testimone sostitutivo. Il suo riscontro trasmette comunque informazioni sulla validità: una confutazione verificata stabilisce che l’affermazione è falsa, e i motivi del rifiuto possono suggerire correzioni strutturali. In questa valutazione, il riscontro del verificatore produce $23/39$ controesempi accettati per affermazioni false e $25/72$ completamenti sicuri, contro $15/39$ e $20/72$ con un riscontro generico senza verificatore. I completamenti rigorosi restano $17/72$; la correttezza dei giudizi passa da $47/72$ a $46/72$. La differenza nei completamenti sicuri, raggruppati per affermazione, è $.094$, con un intervallo bootstrap al 95\% di $[.000,.198]$. Tutti e sette i miglioramenti a livello di singolo compito seguono le indicazioni diagnostiche relative all’orizzonte e alla lunghezza dell’input. Una correzione a posteriori degli output diretti, limitata allo schema, porta agli stessi 25 compiti completati in modo sicuro senza un’ulteriore chiamata al modello. Questi risultati distinguono la classificazione delle affermazioni dalle prove eseguibili e collocano i miglioramenti osservati nella correzione della struttura dei testimoni, senza dimostrare un miglioramento più ampio delle capacità di ragionamento.