Rufus-Air: una ricetta aperta di post-addestramento per LLM

Abstract degli autori

Rufus-Air è una ricetta aperta e riproducibile di post-addestramento per GLM-4.5-Air-Base (106B-A12B), organizzata come una pipeline seriale di otto fasi: SFT, RL di ragionamento, RL per la programmazione, RL per il rispetto delle istruzioni, agenti generalisti, agenti per la programmazione, agenti di ricerca e RLHF. Documentiamo i dati, la progettazione delle ricompense, l’infrastruttura, l’ordine delle fasi e i risultati fase per fase necessari a riprodurre la ricetta. Le fasi procedono dalle capacità di base a quelle avanzate e da ricompense verificabili e rigorose a segnali più sfumati basati su valutazioni. L’addestramento si basa su componenti open source e dati pubblici, in gran parte utilizzati così come rilasciati, senza nuove annotazioni umane né un modello insegnante di distillazione sviluppato internamente. I nostri principali risultati sono che (i) un SFT diversificato e di alta qualità stabilisce una solida base di capacità; (ii) il filtraggio in base alla difficoltà mantiene i prompt per l’RL entro un intervallo di apprendimento produttivo; (iii) l’affidabilità delle ricompense offre un principio pratico per ordinare le fasi; e (iv) le scelte infrastrutturali e ingegneristiche fanno parte della ricetta, non sono un semplice dettaglio di implementazione. Rufus-Air migliora rispetto alla versione ufficiale di GLM-4.5-Air sottoposta a post-addestramento ed è competitivo con modelli open di dimensioni simili.