Estendere su larga scala la supervisione delle dimostrazioni matematiche a partire da manuali strutturati

Abstract degli autori

La supervisione matematica dei modelli linguistici viene in genere ridotta a coppie isolate di problema e soluzione, perdendo l’organizzazione curricolare e la struttura delle evidenze delle fonti originali. Presentiamo TOME-Math (Textbook-Oriented Mathematical Evidence), un corpus su larga scala che trasforma 2118 manuali, dedicati alle aree fondamentali delle discipline matematiche a livello universitario, in circa 380 mila record strutturati per la supervisione delle dimostrazioni, preservando l’ordine dei capitoli, i collegamenti tra proposizioni e dimostrazioni, i riferimenti alle dipendenze e la provenienza delle fonti. Sfruttando questi segnali strutturali, esploriamo l’apprendimento curricolare in diverse discipline matematiche e caratterizziamo le tendenze di scalabilità al variare del volume della supervisione e dell’ampiezza delle fonti. Alla scala massima, il fine-tuning su TOME-Math aumenta di 16,7 punti percentuali il punteggio medio non ponderato nelle valutazioni su dati non usati per l’addestramento e nei benchmark pubblici consolidati rispetto al modello di base, superando inoltre, nella valutazione aggregata, tutti e tre i baseline pubblici basati su dati per l’addestramento a seguire istruzioni. I nostri risultati evidenziano che i manuali strutturati sono sia una fonte scalabile di supervisione matematica sia un quadro empirico per studiare l’impatto dell’organizzazione dei dati sul ragionamento matematico. Rilasceremo il corpus per agevolare ulteriori ricerche sulla supervisione matematica strutturata.