The Pulse
Meta riprogetta Andromeda per valutare un miliardo di annunci al secondo
Meta afferma che il sistema di selezione degli annunci Andromeda, riprogettato, può valutare più di un miliardo di annunci idonei al secondo su un unico server con GPU. La nuova architettura combina un modello a miscela di esperti con una p
AI.info Team · Scritto con l’IA · verificato ·
Meta afferma che la pipeline di selezione degli annunci Andromeda, riprogettata, può valutare più di un miliardo di annunci idonei al secondo su un unico server con GPU. L’azienda descrive questo throughput come un nuovo benchmark per i modelli impiegati nella fase di selezione. In un post pubblicato il 28 ottobre, gli ingegneri di Meta spiegano che il sistema abbina un nuovo modello a miscela di esperti a una pipeline GPU che gestisce nello stesso ambiente la ricerca delle corrispondenze tra gli annunci, la loro valutazione e la selezione dei candidati.
Andromeda opera nella prima fase del processo con cui Meta raccomanda gli annunci. In pochi millisecondi riduce milioni di annunci idonei a un insieme più ristretto; i modelli di ranking esaminano poi quei candidati più in dettaglio. Meta afferma che il nuovo sistema porta le prestazioni del modello di selezione vicino alla qualità dei modelli di ranking, mantenendo lo stesso limite di latenza.
Il modello a miscela di esperti di Andromeda riduce il lavoro di inferenza
Il nuovo modello sostituisce un’unica componente per la modellazione degli utenti con un insieme di esperti specializzati. Utilizza segnali che comprendono sequenze di interazioni con gli annunci, rappresentazioni di gruppi di utenti, caratteristiche semantiche prodotte da modelli linguistici di grandi dimensioni e interazioni tra i servizi di Meta. Una rete di instradamento indirizza ciascun annuncio candidato agli esperti più pertinenti, mentre la rappresentazione dell’annuncio incorpora anche il contesto operativo in tempo reale.
Meta afferma che il modello si avvicina alle prestazioni dei modelli di ranking con circa 300 volte meno operazioni in virgola mobile durante l’inferenza rispetto al suo modello Andromeda del 2024. Su una singola GPU NVIDIA GH200, il throughput di inferenza del modello supera i 10 miliardi di annunci al secondo. Si tratta di un dato relativo al solo modello; il tasso dichiarato per il sistema in produzione è inferiore perché il sistema svolge anche altre attività di selezione.
Una sola GPU gestisce ora la ricerca delle corrispondenze, la valutazione e la selezione
Nella precedente architettura, l’esecuzione del modello sulla GPU si affiancava ad altre operazioni distribuite tra server CPU e acceleratori remoti. Questa configurazione trasferiva grandi elenchi di candidati attraverso collegamenti di rete e generava un notevole traffico di memoria tra le operazioni sulla GPU. Meta afferma che, al nuovo throughput previsto, il trasferimento dei dati, non i calcoli, è diventato un vincolo fondamentale.
La pipeline riprogettata integra le operazioni del modello e quelle del sistema in un unico kernel GPU. Sposta inoltre sullo stesso server con GPU la ricerca delle corrispondenze nell’indice, la valutazione e la selezione top-K, cioè il processo che conserva i candidati migliori. Invece di inviare grandi elenchi tra macchine, il sistema trasmette una richiesta compatta contenente le caratteristiche dell’utente e una query di targeting, per poi restituire gli annunci selezionati. Meta afferma che questo riduce il traffico di rete di circa 100 volte.
«Meta Andromeda del 2026 porta la co-progettazione di modello e sistema a un livello superiore con due innovazioni: un unico kernel GPU che integra i carichi di lavoro del modello e del sistema per ogni interazione utente-annuncio e una strategia per collocare le logiche di ciascuna richiesta utente insieme ai kernel GPU per ciascuna interazione utente-annuncio in un unico server con GPU.»
Haiyu Lu, Shuo Gu, Yang Yang (Tony), Jingwen Ren, Tianchen Ji, Qing Zhang, Wentian Guo, Haocheng Wu, Siqi Zeng, Yunchen Pu, Liang Wang e Chonglin Sun, Meta
Meta e NVIDIA segnalano kernel più veloci
Meta afferma di aver lavorato con NVIDIA all’ottimizzazione delle GPU: ogni componente oggetto della collaborazione ha raggiunto velocità da 2 a 5 volte superiori rispetto alla rispettiva versione di riferimento. Il kernel ottimizzato che indirizza le richieste agli esperti del modello è passato da 2,4 miliardi a oltre 10 miliardi di annunci al secondo, raggiungendo circa l’85% delle prestazioni massime della memoria ad alta larghezza di banda della GPU. Meta riferisce inoltre che la quantizzazione INT8 ha fornito un throughput fino a 2 volte superiore a quello dei suoi kernel FP16 ottimizzati, con un’accuratezza pari a quella della precisione a 16 bit.
Nei test riportati, la ricerca delle corrispondenze nell’indice ha superato i 100 miliardi di annunci al secondo: più di 10 volte il tasso della rete di valutazione. Dopo le ulteriori ottimizzazioni, nei benchmark la pipeline completa raggiunge su un server con GPU un throughput pari a diverse volte quello attuale in produzione. Meta afferma di prevedere ancora l’integrazione di ulteriori miglioramenti in produzione: il risultato del benchmark non va quindi confuso con l’affermazione che l’intero sistema, dall’inizio alla fine, operi già a quel tasso più elevato.
Il dato sulle conversioni è una dichiarazione di Meta
Meta afferma che Andromeda ha prodotto un aumento del 2,4% delle conversioni su Facebook dal 2025. L’azienda presenta questo dato insieme alla capacità del sistema di cercare in un insieme più ampio di candidati entro lo stesso limite di latenza, ma il post tecnico non fornisce il metodo di misurazione né i dettagli del confronto relativi al risultato sulle conversioni.
Il team di ingegneri afferma di stare estendendo il lavoro alla piattaforma Grace Blackwell di NVIDIA, anche con test su come il rapporto tra risorse CPU e GPU influisca sulle prestazioni. Per ora, la dichiarazione concreta sulle prestazioni in produzione è che Andromeda valuta ogni annuncio idoneo nel proprio insieme di candidati a un tasso superiore a un miliardo di annunci al secondo su un unico server con GPU.