LUCA: un mondo sintetico per il ragionamento sperimentale

Abstract degli autori

Un agente sperimentale può riuscire per le ragioni sbagliate. Le valutazioni, però, spesso si concentrano sul risultato, non sugli esperimenti, le prove e le inferenze che lo hanno prodotto. Presentiamo LUCA, un mondo sintetico configurabile per valutare questo processo in condizioni di verità di riferimento completamente nota. Gli agenti apprendono sistemi regolatori sconosciuti attraverso una sperimentazione con budget limitato, poi prevedono interventi mai visti, diagnosticano guasti nascosti e tentano di porvi rimedio. Questa configurazione ci consente di valutare separatamente la selezione degli esperimenti, la previsione, la diagnosi e l’intervento. Tra sette LLM di frontiera e tre modelli di riferimento, queste capacità presentano dissociazioni marcate. Gli agenti riescono spesso a porre rimedio a sistemi malfunzionanti pur diagnosticando il guasto sbagliato; la capacità diagnostica varia di 7 volte tra i modelli, mentre quella predittiva varia soltanto di 1,4 volte. I modelli adottano inoltre strategie sperimentali sorprendentemente diverse e una maggiore esplorazione non porta in modo affidabile a prestazioni migliori. In una modalità di fallimento, gli agenti spesso eseguono l’esperimento necessario a distinguere tra cause concorrenti, ma non riescono comunque a utilizzare le prove ottenute. LUCA trasforma questi fallimenti nascosti in comportamenti misurabili, offrendo un ambiente controllato per studiare dove gli agenti sperimentali riescono e dove falliscono. Codice: https://github.com/RelationRx/luca.