Ricerca
FrontierPhysics: valutare gli agenti nella ricerca in fisica dall’inizio alla fine
Gli agenti di IA svolgono un ruolo sempre più importante nella ricerca in fisica. Tuttavia, i benchmark esistenti per la fisica valutano soltanto domande predefinite, attività isolate o la riproduzion
- arXiv
- 2611.06910
- Pubblicato
- 2026-11-04
- Autori
- Bingran You, Wenjun Ke, Ria Rosenauer, Bo Liu, Wenbo Chen, Min Chen, Shuqi Xu, Yue Ma, Jiechao Feng, Bo Chen, Xiangkai Sun, Jiarui Liu, Jinen Guo, Zeyu Zhou, Xu Huang, Zhuohan Li, Haoyu Li, Heguang Lin, Lijie Ding, Yadong Zeng, Kangqi Zhang, Xinge Liu, Hanwen Liu, Zhenghong Li, Alexander von Recum, Yuchen Zhu, Felix Schwarzfischer, Yizhou Zhao, Jicheng Wang, Binxu Li, Qian Yu, Chan Li, Cheng Dai, Di Wang, Haoyu Zhang, Jiankai Sun, Kaituo Feng, Mian Qin, Ruihong Yin, Yiqun Luo, Weiwei Wu, Shihong Pan, Tsung Yeh Hsieh, Xiao Huang, Yan Zhang, Sihan Li, Zirui Ren, Zengji Tu, Kyoung Whan Choe, Ke Sun, Vincenzo Galia, Vaisakhi Mishra, Jiashu He, Hongyang Wang, Zhiheng Yang, Shubham Gaur, Yifan Gu, Shuyi Wang, Zihao Zuo, Steven Dillmann, Yiyou Sun, Xinyang Han, Hanchung Lee, Molei Tao, Yue Zhao, Shilong Liu, Yuchen Wu, Xuandong Zhao, Xiangyi Li, Florian Brand, Gerbrand Ceder, Hartmut Haeffner
Abstract degli autori
Gli agenti di IA svolgono un ruolo sempre più importante nella ricerca in fisica. Tuttavia, i benchmark esistenti per la fisica valutano soltanto domande predefinite, attività isolate o la riproduzione di articoli a partire da soluzioni fornite, e raramente verificano la qualità della ricerca oltre alla correttezza. Presentiamo FrontierPhysics, un benchmark end-to-end composto da 56 attività ideate da 42 fisici sulla base delle loro ricerche, che coprono nove ambiti della fisica teorica, computazionale e sperimentale. Ogni attività richiede agli agenti di esaminare la letteratura, elaborare un piano di ricerca, condurre ricerche ed esperimenti e produrre risultati strutturati e manoscritti scientifici. Combinando verificatori deterministici e griglie di valutazione redatte da esperti, FrontierPhysics valuta se la ricerca degli agenti è corretta e pubblicabile. Su 22 modelli in 26 configurazioni, nessuna configurazione supera 46 delle sue 168 esecuzioni. Dall’esame manuale delle traiettorie degli agenti emerge che le principali debolezze degli agenti di frontiera sono un ragionamento non abbastanza rigoroso e una limitata intuizione esperta, più che lacune nelle conoscenze di fisica o errori di esecuzione.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv