OpenFrontiers: una raccolta di problemi di ricerca aperti e un benchmark per la riscoperta scientifica

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) hanno mostrato un potenziale crescente nella risoluzione di problemi a livello di ricerca, ma manca ancora una raccolta completa di questi problemi e valutarli su problemi di questo livello resta difficile. Presentiamo OpenFrontiers, una risorsa interdisciplinare che combina un corpus strutturato di problemi di ricerca aperti con un benchmark retrospettivo di problemi di matematica risolti di recente. Il corpus registra gli enunciati dei problemi, il contesto, i progressi e altre informazioni relative a 12.151 problemi. Il benchmark comprende 200 problemi: 110 risolti nel 2026 e 90 ancora aperti, ciascuno corredato da un enunciato in Lean~4 verificato mediante sonde automatizzate e due revisioni indipendenti; un sottoinsieme, HQ-50, applica ulteriori filtri in base al punteggio di qualità, ecc. Il nostro protocollo di valutazione assegna un punteggio alle dimostrazioni formali tramite due verificatori indipendenti, in un sandbox isolato e in condizioni closed-book, di retrieval congelato e di accesso al web in tempo reale. Valutando sette agenti LLM sul sottoinsieme HQ-50 con un budget standardizzato, rileviamo che la riscoperta senza consultare fonti è rara: riguarda al massimo 7 dei 40 problemi risolti, mentre il successo con accesso al web in tempo reale riflette perlopiù il recupero di soluzioni pubblicate. Collegando un ampio corpus di problemi di ricerca a un sottoinsieme di valutazione con punteggi formali e soluzioni documentate, OpenFrontiers offre una base per misurare la riscoperta a livello di ricerca e studiare i progressi verso la soluzione di problemi scientifici attualmente aperti. Il dataset e il benchmark si possono trovare all’indirizzo https://huggingface.co/collections/FlippyDora/openfrontiers.