The Pulse

Apple illustra DACA-GRPO per i modelli linguistici a diffusione

DACA-GRPO è un metodo di apprendimento per rinforzo per i modelli linguistici a diffusione, descritto nella pagina di ricerca di Apple del settembre 2026.

AI.info Team · Scritto con l’IA · verificato · 2026-09-17

Apple affronta due punti deboli nell’addestramento dei modelli a diffusione

I ricercatori di Apple hanno proposto un metodo di apprendimento per rinforzo progettato per migliorare il modo in cui i modelli linguistici a diffusione apprendono dalle ricompense. La tecnica, chiamata Denoising-Aware Credit Assignment for GRPO, o DACA-GRPO, si concentra sulla sequenza di decisioni intermedie di rimozione del rumore che trasformano gradualmente token alterati in una risposta completa.

Il lavoro affronta due problemi individuati dagli autori. I metodi di apprendimento per rinforzo esistenti per i modelli linguistici a diffusione trattano ogni fase di rimozione del rumore come ugualmente importante, anche se alcune hanno un effetto maggiore sul risultato finale. Si basano inoltre su stime della verosimiglianza a campo medio che i ricercatori descrivono come sistematicamente distorte e caratterizzate da un’elevata varianza.

Apple ha pubblicato la ricerca nel settembre 2026. Il paper è stato scritto da Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang e Irina Belousova. La pagina di ricerca di Apple descrive il lavoro come un paper su metodi e algoritmi che riguarda l’elaborazione del parlato e del linguaggio naturale.

DACA-GRPO assegna il merito all’interno della traiettoria di rimozione del rumore

DACA-GRPO aggiunge due meccanismi ai sistemi di addestramento di tipo GRPO. Il primo, chiamato Denoising Progress Scores, ricava dalle previsioni intermedie pesi di importanza per ciascun token. Secondo i ricercatori, i punteggi non richiedono un ulteriore passaggio in avanti, consentendo al sistema di addestramento di stimare quali token e quali fasi di rimozione del rumore abbiano contribuito maggiormente al risultato finale.

Il secondo meccanismo, Stratified Masking Likelihood, suddivide le posizioni dei token in gruppi, o strati. Ogni token viene poi valutato usando la maggior parte della sequenza come contesto. Il meccanismo è progettato per ridurre la distorsione introdotta quando i calcoli di verosimiglianza approssimano l’intera sequenza usando una stima a campo medio.

Questa combinazione modifica il segnale di apprendimento senza richiedere una nuova architettura del modello. Secondo Apple, DACA-GRPO è un miglioramento leggero che può essere applicato a qualsiasi sistema di addestramento di tipo GRPO: la proposta interviene quindi sul post-addestramento, anziché sostituire il preaddestramento dei modelli linguistici a diffusione.

Risultati su ragionamento, codice e output strutturato

I ricercatori applicano DACA-GRPO a tre metodi GRPO di base e valutano i sistemi risultanti su sette benchmark. I test riguardano il ragionamento matematico, la generazione di codice, la soddisfazione di vincoli e la generazione vincolata.

Secondo Apple, i miglioramenti massimi raggiungono 5,6 punti percentuali nei compiti di ragionamento matematico e 7,4 punti in quelli di generazione di codice. Il miglioramento maggiore si registra nella soddisfazione di vincoli, dove il guadagno riportato raggiunge 36,3 punti. Il metodo migliora anche l’aderenza agli schemi JSON fino a 5,9 punti.

I dati sono riportati come miglioramenti ottenuti nell’insieme dei benchmark, non come un unico punteggio complessivo. La sintesi di Apple non attribuisce tutti i miglioramenti massimi a una sola dimensione del modello o a una sola configurazione di addestramento: i risultati principali vanno quindi letti come i migliori miglioramenti osservati tra gli esperimenti riportati.

Perché le fasi intermedie contano nei modelli linguistici a diffusione

I modelli linguistici autoregressivi producono testo un token alla volta, offrendo a molti metodi convenzionali di apprendimento per rinforzo una sequenza relativamente diretta di decisioni da ottimizzare. I modelli linguistici a diffusione seguono un percorso diverso: partono da una rappresentazione fortemente alterata o mascherata e perfezionano ripetutamente molte posizioni lungo una traiettoria di rimozione del rumore.

Una ricompensa finale, come un punteggio per una soluzione corretta o per codice valido, non rivela automaticamente quali decisioni intermedie l’abbiano prodotta. Trattare tutte le fasi allo stesso modo può quindi inviare lo stesso segnale di apprendimento ai passaggi che hanno dato forma alla risposta e a quelli che si sono limitati a ripulire una sequenza già coerente.

DACA-GRPO tenta di rendere esplicita questa distinzione. I suoi punteggi di progresso stimano l’importanza dei token durante il perfezionamento, mentre i calcoli di verosimiglianza stratificati mirano a fornire all’ottimizzatore della policy una visione meno distorta delle probabilità del modello. L’approccio conserva la struttura basata sul confronto all’interno del gruppo di GRPO, aggiungendo informazioni su quando e dove l’output ha preso forma.

Una direzione di ricerca per i modelli linguistici non autoregressivi

I modelli linguistici a diffusione hanno suscitato interesse perché possono modificare più posizioni in una sequenza, anziché vincolarsi a un percorso di generazione rigorosamente da sinistra a destra.

DACA-GRPO affronta un problema più circoscritto: come applicare l’apprendimento per rinforzo dopo che un modello linguistico a diffusione è stato addestrato. I risultati riportati suggeriscono che la traiettoria di rimozione del rumore contiene informazioni utili per l’addestramento che le implementazioni standard di GRPO non utilizzano. Il paper non dimostra che il metodo migliorerà ogni architettura a diffusione o ogni compito, ma offre un modo per verificare l’assegnazione del merito che tiene conto della traiettoria senza ricostruire da zero il sistema di addestramento.

La descrizione tecnica principale è disponibile su Apple Machine Learning Research, mentre il paper completo è disponibile su arXiv.