Preaddestrare i modelli fondazionali relazionali in modalità speedrun

Abstract degli autori

I progressi nel preaddestramento dei modelli fondazionali dipendono da chi può permettersi di fare una prova, e il preaddestramento relazionale non fa eccezione. Le ricette vengono sviluppate all’interno dei singoli laboratori e presentate secondo protocolli privati, senza che si accumulino. Le classifiche speedrun eliminano questa barriera decentralizzando la ricerca, anziché l’esecuzione dell’addestramento. Il problema è fisso, lo stack è aperto, i risultati sono ordinati in base al tempo effettivo necessario per raggiungere un obiettivo di qualità e basta una GPU per detenere il record. Presentiamo modded-nanoRT, la prima classifica di questo tipo per i Relational Transformers. La scelta del database da tenere da parte determina se il benchmark sia in grado di rilevare i miglioramenti: per questo la fissiamo mediante una calibrazione, ordinando sei candidati in base alla capacità di una curva di apprendimento di 45 minuti di distinguere i miglioramenti dal rumore dovuto al seed. Inauguriamo la classifica con l’attenzione trilineare tipizzata, un operatore relazionale che condiziona i punteggi di attenzione e i valori alla chiave esterna attraversata, insieme a Muon e SIGReg. La ricetta raggiunge l’obiettivo in 305,63 secondi su una NVIDIA H200, 8,11 volte più velocemente dell’implementazione di riferimento, e prevale in 13 confronti a coppie su 15 al di fuori del database di sviluppo. Pubblicheremo il benchmark, i suoi artefatti congelati e le esecuzioni da record. Il nostro codice è disponibile all’indirizzo https://github.com/kunumi/nanoRT.