OmniEdu: modelli fondazionali aperti per l’apprendimento e l’insegnamento

Abstract degli autori

I modelli fondazionali per l’istruzione devono risolvere problemi, comprendere la struttura dei programmi scolastici, individuare le difficoltà degli studenti e fornire un supporto didattico adeguato. I modelli linguistici esistenti per l’istruzione si concentrano spesso sulla risoluzione dei problemi oppure sul tutoraggio, con insiemi di dati di addestramento organizzati per fonte o per compito anziché per capacità. Presentiamo OmniEdu, una famiglia open di modelli fondazionali per l’apprendimento e l’insegnamento dalla scuola dell’infanzia alla secondaria (K-12). Il suo corpus di instruction-tuning combina oltre 100 risorse didattiche e fonti di istruzioni generali, organizzate attorno a quattro capacità: competenza disciplinare, ancoraggio ai programmi scolastici, ragionamento diagnostico e intervento pedagogico con supporto graduale. La nostra pipeline integra pulizia deterministica, verifica e riscrittura semantica, valutazione della qualità specifica per ciascun compito, selezione della diversità entro un budget di token e assegnazione di istruzioni pedagogiche. Il risultato è un insieme di 69.999 esempi e 15,96M di token di risposta supervisionati, di cui 60.951 esempi specifici per l’istruzione. Eseguiamo il fine-tuning di modelli da 4B, 9B e 27B e valutiamo l’ancoraggio ai programmi scolastici, la risoluzione di problemi K-12 e il tutoraggio pedagogico, oltre alle capacità generali. L’addestramento orientato all’istruzione migliora con regolarità tutti e tre i gruppi di benchmark didattici alle diverse dimensioni dei modelli. OmniEdu-27B raggiunge il 63,12% di EM e il 76,69% di F1 su K12-Bench, l’85,89% su MathFish, l’86,95% su EDUMATH e il 78,74% nell’impostazione Scaffold di MathTutorBench. Ottiene inoltre la media Teaching più alta tra i modelli valutati su LongTutor, pari a 3,02. Questi risultati dimostrano il valore di una supervisione selezionata e bilanciata tra le diverse capacità per adattare modelli linguistici generali a compiti didattici che spaziano dalla risoluzione di problemi alla comprensione dei programmi scolastici e al supporto all’insegnamento.