The Pulse
Uno studio di Apple rileva che l’ordinamento per confidenza può alterare gli output della diffusione
Uno studio di Apple sulla diffusione discreta rileva che scrivere più token in parallelo in base ai loro punteggi di confidenza può produrre una distribuzione degli output errata quando i token dipendono gli uni dagli altri. In un compito s
AI.info Team · Scritto con l’IA ·
Uno studio presentato su arXiv il 17 settembre sostiene che una scorciatoia comune nella diffusione discreta — scrivere più token contemporaneamente in base ai loro punteggi di confidenza — può alterare la distribuzione delle sequenze generate. Lo studio, «Limits of Confidence in Diffusion», esamina il problema in un compito sintetico, nel quale gli autori misurano uno scarto pari a 29 volte il livello di base del rumore di campionamento anche quando le metriche per singolo campione raggiungono 1,0. Il risultato indica una discrepanza tra la valutazione dei token uno per uno e la conservazione delle relazioni tra loro.
I punteggi di confidenza valutano i token, non le dipendenze tra loro
La diffusione discreta genera una sequenza riempiendo più posizioni di token in passaggi successivi. Nei metodi basati sull’ordinamento per confidenza, un metodo di campionamento usa le distribuzioni di probabilità relative a ciascuna posizione sia per scegliere quale valore collocarvi, sia per decidere quali posizioni riempire per prime. Questo approccio può essere efficiente, ma tratta le posizioni selezionate come estrazioni indipendenti.
«Mostriamo che un passaggio riproduce la distribuzione di addestramento solo quando le posizioni che riempie sono condizionatamente indipendenti, dati i token già fissati.»
Russ Webb, Amitis Shidani, Alice Bizeul e Dan Busbridge, autori di «Limits of Confidence in Diffusion»
Il punto degli autori è che token singolarmente plausibili possono formare una combinazione che non comparirebbe mai nei dati di addestramento. Le sole previsioni relative a ciascuna posizione non possono rivelare se un gruppo di token presenta dipendenze: due distribuzioni congiunte possono avere le stesse probabilità per i singoli token, pur ammettendo combinazioni diverse. Il punteggio di confidenza di ciascun token, quindi, non può garantire che scriverne diversi insieme conservi la distribuzione originale.
ScanAndAdd mette in luce il problema dell’ordine
Per rendere misurabili le dipendenze, i ricercatori hanno creato ScanAndAdd, un compito con una distribuzione congiunta nota. Ogni esempio contiene nove valori e una sequenza di comandi, tra cui due addizioni; una testina simulata si sposta tra i valori e i comandi determinano la risposta finale. Poiché la risposta dipende sia dai valori sia dall’ordine dei comandi, diversi campi sono collegati anche quando le previsioni dei singoli token sembrano corrette.
Nel compito, l’ordinamento per confidenza fa scrivere le cifre della risposta prima delle posizioni dei valori. Quest’ordine conta: una volta fissata, la risposta diventa dipendente da valori e comandi non ancora scritti. Secondo lo studio, in questa configurazione ogni gruppo di due o più posizioni ancora da determinare che viene scritto insieme secondo un ordinamento per confidenza presenta dipendenze; il campionamento indipendente può quindi produrre combinazioni estranee alla distribuzione valida del compito.
Campioni apparentemente perfetti non riproducono comunque la distribuzione
Il risultato principale dello studio distingue i punteggi dei singoli campioni dalla fedeltà alla distribuzione. In ScanAndAdd, le metriche per singolo campione raggiungono 1,0, eppure la distanza in variazione totale della distribuzione generata è pari a 29 volte il livello di base del rumore di campionamento. In altre parole, i singoli output possono superare i controlli misurati mentre l’insieme degli output continua a differire dalla distribuzione di addestramento.
Il confronto mostra anche che l’ordine di scrittura conta. Gli autori riferiscono che un ordine definito manualmente, che scrive insieme le posizioni indipendenti dei valori e poi gestisce separatamente comandi e risposte, può avvicinarsi alla distribuzione di nuovi campioni di addestramento. Nel loro esperimento, l’ordinamento per confidenza non individua quell’ordine: scrive i valori per ultimi, dopo che altri token hanno introdotto dipendenze.
Il risultato è limitato a un compito sintetico
Il risultato non è una misurazione condotta su un modello linguistico commerciale o su un corpus di testi naturali. Gli autori usano un modello di ricerca addestrato su ScanAndAdd, la cui distribuzione e i cui vincoli sono volutamente abbastanza semplici da poter essere calcolati con esattezza. Precisano esplicitamente di non aver stabilito l’entità dello scarto tra le distribuzioni in alcun corpus naturale e che i loro esperimenti non riproducono le architetture né le strategie di decodifica dei modelli impiegati nei prodotti.
La tesi più generale dello studio è più circoscritta di un giudizio sulla diffusione nel suo complesso: quando un metodo di campionamento scrive indipendentemente e in parallelo posizioni che presentano dipendenze, quel passaggio non può riprodurre la vera distribuzione congiunta. I punteggi di confidenza possono comunque orientare utilmente il campionamento, ma l’esperimento mostra perché buoni risultati sui singoli campioni non bastino, da soli, a dimostrare che un generatore riproduce la distribuzione che è stato addestrato a modellare.