I modelli linguistici di grandi dimensioni possono scoprire leggi fisiche nascoste esplorando liberamente?

Abstract degli autori

La scoperta scientifica spesso comincia con un’osservazione inattesa che suscita una nuova domanda di ricerca. In un mondo con leggi fisiche modificate, i modelli linguistici di grandi dimensioni (LLM) possono notare fenomeni inattesi, come oggetti più pesanti che cadono più lentamente, e scoprire la legge attraverso esperimenti, senza che venga detto loro cosa indagare? Per valutare questa capacità, presentiamo LongChang, un framework automatizzato che crea mondi simulati con una fisica modificata, in cui una o più leggi differiscono da quelle della fisica ordinaria. Gli LLM valutati agiscono da esploratori: manipolano oggetti e costruiscono strumenti per indagare le proprie domande, senza compiti di ricerca né indizi su queste leggi. Agenti LLM distinti generano e rivedono le scene, esaminano i progetti degli strumenti e valutano la correttezza dei resoconti e il loro sostegno sperimentale sulla base delle leggi fisiche modificate e dei registri dell’esplorazione. Questi registri guidano l’evoluzione delle scene per ulteriori esplorazioni, consentendo all’intero ciclo di svolgersi senza intervento umano. Tra 12 LLM, GPT-6-Astra raggiunge un tasso di scoperta del 16,7%, mentre gli altri 11 ottengono lo 0%. I registri dell’esplorazione rivelano anomalie rimaste inesplorate e un’identificazione solo parziale delle leggi fisiche modificate.