Dagli obiettivi di ricerca alla conclusione scientifica: valutare gli agenti attraverso ricerche di fisica fondate su evidenze

Abstract degli autori

Gli agenti di IA sono in grado di organizzare indagini scientifiche che portino a conclusioni ben supportate? Per valutare questa capacità, presentiamo PhysClosureBench, un benchmark di 50 compiti di ricerca con obiettivi specificati, verificati da esperti e relativi alla fisica dei campi intensi, alla fisica degli attosecondi e ad aree affini. Ogni compito definisce l’obiettivo della ricerca e i vincoli scientifici essenziali, lasciando all’agente il compito di organizzare l’indagine e stabilire come produrre e verificare le evidenze necessarie per rispondere alla domanda. L’Atomic Score, basato su 20 criteri, misura i risultati scientifici ottenuti nei singoli aspetti, mentre Research Closure (RC0--RC4) valuta quanto l’indagine risolva la questione di ricerca specificata, in base al soddisfacimento dei requisiti probatori indispensabili e delle condizioni di applicabilità pertinenti. Valutiamo sette LLM di frontiera: Claude-Opus-5 ottiene l’Atomic Score medio più alto (6,29/10), ma raggiunge RC4 solo nel 32,7% dei tentativi. Nell’intero benchmark, il 36,2% dei tentativi che ottengono almeno 8/10 non raggiunge comunque RC4; inoltre, tutti e sette i modelli raggiungono RC4 su un numero di compiti nettamente inferiore in tutte e tre le esecuzioni rispetto ad almeno una delle tre. L’analisi dei singoli casi mostra inoltre come un’interpretazione errata dei risultati generati e limiti irrisolti di applicabilità fisica possano impedire di giungere a una conclusione completa. Nel complesso, questi risultati rivelano un divario persistente tra i risultati scientifici ottenuti dagli agenti di IA nei singoli aspetti e la loro capacità di portare la ricerca a una conclusione completa.