The Pulse
MLPerf Training aggiunge test agentici e di raccomandazione nella v6.1
MLPerf Training v6.1 aggiunge un test post-training per attività di ingegneria del software e sostituisce il benchmark di raccomandazione. I risultati riguardano 153 sistemi presentati da 24 organizzazioni.

Nuovi carichi di lavoro per l’addestramento
MLPerf Training v6.1 aggiunge un test di post-training agentico per modelli linguistici e sostituisce il benchmark di raccomandazione con uno basato sulle sequenze di interazioni degli utenti. MLCommons ha pubblicato i risultati il 16 novembre.
Alla tornata hanno partecipato 24 organizzazioni, con 153 sistemi e 250 risultati dei test. La suite misura la rapidità con cui i sistemi addestrano i modelli fino a raggiungere un obiettivo di qualità specificato, mettendo alla prova hardware e software insieme.
Insegnare a un modello a correggere il codice
Il nuovo test per modelli linguistici usa Qwen3.5-397B e un metodo di post-training chiamato Group Relative Policy Optimization, o GRPO. Il modello è un sistema mixture-of-experts con 397 miliardi di parametri totali e 17 miliardi di parametri attivi per token.
Il benchmark usa il dataset R2E-Gym, che contiene problemi di ingegneria del software. Seleziona un sottoinsieme con 700 problemi di addestramento e un gruppo separato di 251 problemi di convalida.
L’agente riceve un problema software e un ambiente container che contiene un repository e le sue dipendenze; il suo compito è produrre una patch. Ogni tentativo riceve una ricompensa di superamento o mancato superamento, e GRPO usa questi risultati per aggiornare il modello.
L’obiettivo è un punteggio pass@4 di 0,69: il modello deve risolvere almeno una volta il 69% dei problemi di convalida in quattro tentativi. La valutazione usa file di test che l’agente non può vedere né modificare, una misura pensata per impedirgli di ottenere una ricompensa modificando i test invece di correggere un problema.
Un nuovo test di raccomandazione
Il test per i sistemi di raccomandazione, DLRMv4-HSTU, sostituisce DLRM-dcnv2, presente nelle versioni precedenti della suite. Il nuovo test usa un’architettura basata sull’attenzione che legge la cronologia delle interazioni di un utente come una sequenza.
Il dataset Yambda-5B contiene attività di ascolto musicale pubblicate da Yandex Music. Il dataset contiene circa 4,79 miliardi di interazioni, 1 milione di utenti e 9,39 milioni di elementi, secondo MLCommons.
L’obiettivo di qualità per DLRMv4-HSTU è un’AUC di 0,75. L’implementazione di riferimento trasforma il registro delle attività in sequenze di interazioni degli utenti e aggiunge al dataset tabelle di caratteristiche.
I sistemi inclusi nei risultati
MLCommons ha dichiarato che 57 dei sistemi presentati, pari al 37% del totale, erano basati sul cloud, in aumento rispetto al 29% della v6.0. Dodici sistemi usavano almeno 1.000 acceleratori, e il più grande ne usava 10.240.
L’hardware comprendeva acceleratori NVIDIA, AMD e Google, con i primi risultati MLPerf Training per le GPU della generazione NVIDIA Rubin e per Google TPUv7, noto come Ironwood. Crusoe ha partecipato per la prima volta alla suite di addestramento.
La pubblicazione include anche strumenti di visualizzazione per confrontare le prestazioni dei sistemi e classificare i risultati dei sistemi di dimensioni simili. La divisione chiusa richiede lo stesso modello dell’implementazione di riferimento, mentre la divisione aperta consente di usare un modello diverso o di ripetere l’addestramento.
Fonti
Notizie correlate
- Google riferisce i risultati delle TPU Ironwood nei test di addestramento MLPerf
- NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training
- AWS descrive controlli per gli errori silenti delle GPU nell’addestramento dell’IA
- OpenAI sostiene un segnale condiviso in robots.txt per l’addestramento dell’IA
- Meta elimina dai termini commerciali i riferimenti all’addestramento dell’IA