The Endless Exam: costruzioni matematiche dai modelli attuali verso la superintelligenza

Abstract degli autori

Presentiamo Endless Exam, un benchmark per misurare i progressi matematici dai modelli attuali verso la superintelligenza artificiale attraverso quattordici famiglie di costruzioni parametrizzate. Ogni oggetto presentato viene verificato automaticamente per accertarne la validità e riceve un punteggio di qualità relativo rispetto a una frontiera pubblicata o a una costruzione di riferimento, senza porre un limite massimo di $1$ ai miglioramenti. Le famiglie si basano su problemi matematici aperti come obiettivi a lungo termine e generano nuove istanze con parametri più grandi, per le quali certificati compatti permettono di verificare anche costruzioni di grandi dimensioni. Nei test condotti su otto modelli e 69 istanze distinte, i punteggi di qualità continui distinguono le prestazioni, sebbene nessuno dei sistemi valutati superi una frontiera pubblicata. Le curve dimensione-qualità mostrano come cambia la qualità delle costruzioni all’aumentare delle dimensioni del problema. Rendiamo disponibili i generatori, i verificatori, i riferimenti, le risposte dei modelli e l’analisi per consentire misurazioni continue prima e oltre le frontiere raggiunte dagli esseri umani.