SciGame: far giocare gli agenti ai giochi di scoperta scientifica nel mondo reale e controfattuale

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni sono sempre più utilizzati per la scoperta scientifica. Tuttavia, i benchmark esistenti combinano l’inferenza di leggi con la programmazione, valutano l’adattamento ai dati invece di verificare le previsioni su input mai visti e non distinguono le evidenze empiriche dai prior preaddestrati. Presentiamo SciGame, un benchmark controllato che trasforma la letteratura scientifica in schede scientifiche strutturate. Ogni scheda genera una coppia di ambienti Original e Counterfactual, coerenti sul piano dimensionale e dotati della stessa interfaccia per i compiti. SciGame include una raccolta Historical di leggi canoniche e una raccolta Temporal attiva, curata a partire da articoli pubblicati dopo le date limite delle conoscenze dei modelli. Il benchmark valuta gli agenti in contesti di Identification guidata da candidati e di Discovery a risposta aperta. Ciascun contesto viene eseguito secondo protocolli Prior-only, Fixed e Adaptive. Gli esperimenti condotti su cinque modelli di frontiera portano a tre risultati. Primo, i prior familiari penalizzano le prestazioni quando la relazione che governa il sistema viene modificata. Secondo, la sperimentazione adattiva aiuta i modelli più forti, ma danneggia quelli più deboli quando i budget sono limitati. Terzo, spiegazioni valide possono nascondere errori quantitativi. Ricostruire la forma simbolica esatta resta il principale collo di bottiglia, anche quando gli agenti interpretano correttamente le evidenze. Gli agenti attuali sono in grado di indagare attivamente i sistemi, ma ricavare leggi esatte in contesti non familiari resta una sfida aperta.