Dagli articoli sull’apprendimento per rinforzo al codice dei framework: inclusione ed esame in sette framework di addestramento open source

Abstract degli autori

Chi lavora con i modelli linguistici usa i metodi di apprendimento per rinforzo attraverso framework di addestramento: quando un framework include un metodo, ai suoi utenti basta modificare una configurazione per usarlo. Misuriamo quanto spesso accade. Ricostruiamo la storia dei commit di sette framework open source per il post-addestramento con apprendimento per rinforzo e la colleghiamo a 6.939 articoli arXiv esaminati, pubblicati tra gennaio 2025 e giugno 2026. Dei 1.598 articoli che propongono un metodo generale di addestramento con apprendimento per rinforzo, 37 sono arrivati in almeno un framework. In cinque coorti trimestrali di articoli, il numero di quelli inclusi entro 180 giorni è rimasto tra 5 e 7, mentre le coorti sono cresciute da 72 a 386 articoli. Rispetto agli articoli degli stessi trimestri, quelli inclusi hanno addestrato più spesso policy da almeno 30 miliardi di parametri, nel 41% dei casi contro il 10%, e hanno modificato più spesso un coefficiente, un clip, una maschera o un peso nella funzione di perdita esistente, nel 29% dei casi contro il 9%. Entrambe le differenze persistono anche escludendo gli articoli delle aziende che mantengono i framework, mentre la pubblicazione del codice era altrettanto frequente nei due gruppi. Le issue e le pull request dei framework mostrano che pochi metodi vengono respinti pubblicamente. Più di nove su dieci tra i metodi generali non inclusi in alcun framework non hanno lì alcuna discussione che li citi o li nomini, e molte delle proposte che invece vi compaiono restano aperte senza risposta. Altre due fonti, le issue dei framework e i rapporti tecnici di 13 grandi modelli open-weight, mostrano che gli utenti segnalano raramente in pubblico i fallimenti dell’addestramento e che i rapporti menzionano 8 dei 13 metodi ampiamente inclusi. Rendiamo disponibili i dati sotto forma di tracker che collega i fallimenti dell’addestramento alle implementazioni nei framework ed elenca le regole per contribuire a ciascun framework e le proposte precedenti.