Vai al contenuto
AI.info

The Pulse

MLPerf Training aggiunge test agentici e di raccomandazione nella v6.1

MLPerf Training v6.1 aggiunge un test post-training per attività di ingegneria del software e sostituisce il benchmark di raccomandazione. I risultati riguardano 153 sistemi presentati da 24 organizzazioni.

MLPerf Training aggiunge test agentici e di raccomandazione nella v6.1

Nuovi carichi di lavoro per l’addestramento

MLPerf Training v6.1 aggiunge un test di post-training agentico per modelli linguistici e sostituisce il benchmark di raccomandazione con uno basato sulle sequenze di interazioni degli utenti. MLCommons ha pubblicato i risultati il 16 novembre.

Alla tornata hanno partecipato 24 organizzazioni, con 153 sistemi e 250 risultati dei test. La suite misura la rapidità con cui i sistemi addestrano i modelli fino a raggiungere un obiettivo di qualità specificato, mettendo alla prova hardware e software insieme.

Insegnare a un modello a correggere il codice

Il nuovo test per modelli linguistici usa Qwen3.5-397B e un metodo di post-training chiamato Group Relative Policy Optimization, o GRPO. Il modello è un sistema mixture-of-experts con 397 miliardi di parametri totali e 17 miliardi di parametri attivi per token.

Il benchmark usa il dataset R2E-Gym, che contiene problemi di ingegneria del software. Seleziona un sottoinsieme con 700 problemi di addestramento e un gruppo separato di 251 problemi di convalida.

L’agente riceve un problema software e un ambiente container che contiene un repository e le sue dipendenze; il suo compito è produrre una patch. Ogni tentativo riceve una ricompensa di superamento o mancato superamento, e GRPO usa questi risultati per aggiornare il modello.

L’obiettivo è un punteggio pass@4 di 0,69: il modello deve risolvere almeno una volta il 69% dei problemi di convalida in quattro tentativi. La valutazione usa file di test che l’agente non può vedere né modificare, una misura pensata per impedirgli di ottenere una ricompensa modificando i test invece di correggere un problema.

Un nuovo test di raccomandazione

Il test per i sistemi di raccomandazione, DLRMv4-HSTU, sostituisce DLRM-dcnv2, presente nelle versioni precedenti della suite. Il nuovo test usa un’architettura basata sull’attenzione che legge la cronologia delle interazioni di un utente come una sequenza.

Il dataset Yambda-5B contiene attività di ascolto musicale pubblicate da Yandex Music. Il dataset contiene circa 4,79 miliardi di interazioni, 1 milione di utenti e 9,39 milioni di elementi, secondo MLCommons.

L’obiettivo di qualità per DLRMv4-HSTU è un’AUC di 0,75. L’implementazione di riferimento trasforma il registro delle attività in sequenze di interazioni degli utenti e aggiunge al dataset tabelle di caratteristiche.

I sistemi inclusi nei risultati

MLCommons ha dichiarato che 57 dei sistemi presentati, pari al 37% del totale, erano basati sul cloud, in aumento rispetto al 29% della v6.0. Dodici sistemi usavano almeno 1.000 acceleratori, e il più grande ne usava 10.240.

L’hardware comprendeva acceleratori NVIDIA, AMD e Google, con i primi risultati MLPerf Training per le GPU della generazione NVIDIA Rubin e per Google TPUv7, noto come Ironwood. Crusoe ha partecipato per la prima volta alla suite di addestramento.

La pubblicazione include anche strumenti di visualizzazione per confrontare le prestazioni dei sistemi e classificare i risultati dei sistemi di dimensioni simili. La divisione chiusa richiede lo stesso modello dell’implementazione di riferimento, mentre la divisione aperta consente di usare un modello diverso o di ripetere l’addestramento.

Fonti

Notizie correlate

Esplora

Altri articoli