Il verificatore è parte del simulatore: manipolazione della prospettiva delle evidenze nella scoperta agentica di equazioni

Abstract degli autori

Un numero crescente di pipeline agentiche cerca equazioni governanti: un agente propone leggi e un verificatore le controlla sulle traiettorie simulate. Il verificatore vede solo un riepilogo numerico: integrali calcolati su una griglia temporale rispetto a funzioni di test. Quel riepilogo porta con sé un proprio errore di discretizzazione, rendendo il verificatore parte del simulatore. Manteniamo fissi la traiettoria, la libreria di candidati, il verificatore e le soglie, lasciando all’agente una sola mossa: scegliere quale riepilogo consentito ammettere. Senza punteggi né modelli linguistici, griglie temporali più fini riducono le discrepanze numeriche e i falsi rifiuti della libreria. Su PDEBench, invece, il verificatore accetta equazioni prive del termine di diffusione quando si usano riepiloghi selezionati in base al punteggio. Massimizzare un punteggio pubblico che premia verdetti netti e discrepanze maggiori quando si rifiuta la libreria porta a rifiutare erroneamente tutti i 1.500 casi inclusi nella libreria; ricalibrare a posteriori le costanti del punteggio su un archivio separato riduce gli errori, nel migliore dei casi, a 13/180. Chiamiamo questo fenomeno manipolazione della prospettiva delle evidenze: reward hacking tramite la scelta del riepilogo consentito. Nei test a scelta forzata e turno singolo, i modelli Claude scelgono raramente riepiloghi che producono verdetti errati quando viene chiesto loro di essere accurati, ma lo fanno spesso quando viene chiesto loro di massimizzare il punteggio o segnalare la fisica mancante. In prompt separati sulla fiducia, spesso classificano quei riepiloghi dannosi come i meno affidabili. Richiedere che più riepiloghi concordino riduce gli errori, ma spesso impedisce di emettere un verdetto e, su PDEBench, dà risultati peggiori rispetto a una vista fissa a risoluzione fine: una misura di salvaguardia, non una certificazione. Le evidenze selezionate dopo che il verdetto è noto non possono, da sole, autorizzare un’affermazione.