The Pulse
Apple descrive un modello di diffusione trimodale da 3 miliardi di parametri addestrato su 6,4 bilioni di token
La rassegna delle ricerche di Apple mette in evidenza uno studio sulla diffusione con mascheramento che comprende testo, immagini e audio, con un modello preliminare da 3 miliardi di parametri addestrato su 6,4 bilioni di token. L’articolo
AI.info Team · Scritto con l’IA ·
La rassegna delle ricerche di Apple dell’ottobre 2026 presenta uno studio su un modello da 3 miliardi di parametri addestrato su 6,4 bilioni di token per elaborare testo, immagini e audio. L’articolo, pubblicato per la prima volta su arXiv il 25 febbraio, esamina come addestrare modelli di diffusione con mascheramento sulle tre modalità e come le loro prestazioni varino in base ai dati, alle dimensioni del modello e alle scelte di campionamento. Gli autori descrivono il lavoro come uno studio delle scelte progettuali alla base dei sistemi trimodali, non come l’annuncio di un prodotto.
Un unico modello per testo, immagini e audio
I ricercatori presentano quello che definiscono il primo modello di diffusione trimodale con mascheramento preaddestrato da zero su testo, coppie immagine-testo e coppie audio-testo. Anziché generare testo un token alla volta, come fanno i modelli linguistici autoregressivi, un modello di diffusione con mascheramento riempie ripetutamente le parti mascherate di una sequenza. In questo sistema, i token di testo, immagini e audio condividono un unico vocabolario e un’unica architettura transformer di base.
Questa struttura unificata supporta attività tra cui la generazione di immagini da testo, la creazione di didascalie per immagini, la sintesi vocale da testo e il riconoscimento automatico del parlato. Gli autori scrivono: «Il nostro lavoro rappresenta il più ampio studio sistematico aperto sui modelli di diffusione discreta multimodale condotto finora, e offre indicazioni preziose sui comportamenti di scalabilità delle diverse modalità». Gli autori dell’articolo affermano che il modello può generare contenuti nelle diverse modalità senza componenti di uscita o adattatori separati e specifici per ciascuna modalità.
262 modelli alla base dell’analisi di scalabilità
Lo studio riferisce l’addestramento di 262 modelli trimodali per ricavare leggi di scalabilità, oltre a quello di un distinto modello preliminare 3B addestrato su 6,4 bilioni di token. Gli autori variano le dimensioni del modello e la quantità di token disponibili, ed esaminano le combinazioni di modalità, le sequenze di mascheramento, gli effetti della dimensione dei batch e le impostazioni di inferenza. La riparametrizzazione dell’equazione differenziale stocastica che propongono separa la dimensione fisica del batch, usata per sfruttare in modo efficiente la capacità di calcolo, dalla dimensione logica del batch, usata per controllare la varianza del gradiente.
Questa separazione è importante perché, secondo i ricercatori, elimina la necessità di cercare una dimensione ottimale del batch, fino a una soglia critica. I loro esperimenti suggeriscono inoltre che impostazioni di inferenza come la guidance, la temperatura e i passaggi di campionamento debbano essere scelte in modo diverso per generare testo, immagini e audio. Il risultato è una serie di raccomandazioni per l’addestramento e l’inferenza, non l’affermazione che un’unica impostazione sia la migliore per tutte e tre le modalità.
Le modalità competono per la capacità del modello
Gli esperimenti sulle combinazioni di modalità introducono una precisazione rispetto alle potenzialità dell’addestramento congiunto. In test condotti su modelli da 320 milioni di parametri addestrati su 13 miliardi di token, i ricercatori non rilevano alcuna sinergia misurabile tra le modalità: la perdita di ciascuna modalità migliorava quando aumentava la sua quota nella combinazione di addestramento, mentre le quote delle altre modalità non producevano un beneficio corrispondente. Concludono che, alle scale testate, le modalità competono per la capacità del modello e per i token.
Nella maggior parte degli esperimenti, il gruppo ha assegnato un terzo ciascuno a testo, coppie immagine-testo e coppie audio-testo, tranne che nell’analisi dedicata all’ablazione delle combinazioni. Secondo l’articolo, questa ripartizione equilibrata appariva ragionevole in quella configurazione; non dimostra che attribuire lo stesso peso a ciascuna modalità sia la scelta migliore per modelli più grandi o raccolte di dati diverse. La distinzione è importante per interpretare il modello 3B: la sua architettura unificata dimostra che l’approccio è fattibile, ma non che l’aggiunta di modalità migliori automaticamente ogni attività.
I benchmark mostrano la varietà delle capacità, non il lancio di un prodotto
Il modello 3B è stato valutato dopo il preaddestramento, senza che nella sezione dei risultati dell’articolo sia descritta una fase separata di fine-tuning. Su GenEval ha ottenuto un punteggio complessivo di 48,89; nel test sul parlato LibriSpeech-PC, gli autori riportano un tasso di errore sulle parole di 0,164. Questi risultati riguardano attività e metodi di valutazione diversi, quindi da soli non dimostrano che il modello superi sistemi specializzati per immagini, parlato o linguaggio.
La pagina dedicata alla ricerca di Apple e l’articolo presentano il lavoro come uno studio empirico delle scelte progettuali per la diffusione con mascheramento. L’articolo fornisce prove del fatto che un’unica architettura di base possa gestire attività di generazione di testo, immagini e audio, documentando al tempo stesso i compromessi nell’addestramento che derivano dalla loro combinazione. L’avvertenza più concreta emerge dallo studio sulle combinazioni: alle scale testate, condividere un modello non ha prodotto miglioramenti tra le modalità.