The Pulse
Meta estende il modello pubblicitario GEM a più piattaforme e migliaia di GPU
Meta afferma che il suo modello pubblicitario GEM ora combina le previsioni relative a Facebook, Instagram, Reels e altri spazi pubblicitari. L’azienda riferisce che la potenza di calcolo impiegata per l’addestramento è quadruplicata e che
AI.info Team · Scritto con l’IA ·
Un unico modello per gli spazi pubblicitari di Meta
Meta afferma che la versione aggiornata del suo Generative Ads Recommendation Model, o GEM, ora funge da sistema centrale per classificare gli annunci su Facebook, Instagram, Reels e altri spazi. In un post pubblicato il 13 ottobre, l’azienda descrive il passaggio da sistemi di previsione separati per singole piattaforme e obiettivi a un unico modello addestrato sui segnali provenienti da tutti i suoi prodotti pubblicitari.
Il modello prevede congiuntamente clic e conversioni nei diversi spazi e per i diversi obiettivi degli inserzionisti, comprese le conversioni su siti esterni e le installazioni di app mobili. Secondo Meta, i modelli di coinvolgimento appresi nelle attività di previsione dei clic, ricche di dati, possono aiutare a prevedere le conversioni, per le quali i segnali sono meno frequenti. L’azienda afferma che 3,6 miliardi di persone usano ogni giorno almeno una delle sue app e presenta questa scala come parte della sfida di combinare attività degli utenti e dati pubblicitari eterogenei.
Meta riferisce un miglioramento del 18,9% nelle conversioni e del 12% nel tasso di clic nei suoi spazi pubblicitari e per i diversi obiettivi. Attribuisce inoltre al modello, separatamente, aumenti delle conversioni del 5,8% su Facebook, del 4,1% su Instagram e dell’1,6% per le conversioni su siti esterni tra gli utenti a cui erano rivolti gli annunci nell’ultimo anno. Il post non spiega i valori di riferimento usati per il confronto né il metodo di misurazione di queste cifre.
Kunlun cambia il modo in cui GEM si espande
La nuova generazione usa Kunlun, un’architettura che Meta afferma di aver progettato insieme all’hardware GPU recente. Rispetto alla precedente architettura Interformer, Kunlun offre prestazioni doppie a parità di scala del calcolo, secondo il post. Meta afferma inoltre che la complessità del modello nell’ultima generazione di GEM è cresciuta di 2,5 volte rispetto alle versioni precedenti.
Kunlun combina attention, sintesi delle sequenze e interazioni tra caratteristiche, anche attraverso un’architettura mixture-of-experts. Una modifica, la block attention, sostituisce la self-attention completa con una sparse attention organizzata in blocchi; secondo Meta, questo rende il calcolo legato alla lunghezza della sequenza lineare anziché quadratico rispetto alla dimensione della finestra. Un’altra, Component Skip Connection, permette di saltare selettivamente i moduli di sequenza e riduce i FLOPs del 43%, con una perdita di qualità che Meta definisce trascurabile.
L’architettura supporta anche cronologie degli utenti più lunghe. Meta afferma di aver raddoppiato in produzione la lunghezza del contesto relativo alle interazioni di lungo periodo e di aver realizzato l’infrastruttura necessaria per portarla a 25 volte il livello precedente. Il post presenta la cifra di 25 volte come una capacità, non come la lunghezza del contesto attualmente utilizzata.
Le conoscenze di GEM arrivano ai modelli più piccoli
Meta non esegue il grande modello di base su ogni annuncio candidato durante una richiesta in tempo reale. Descrive invece LoopFM come un modo per comprimere le rappresentazioni di GEM e il contesto storico degli utenti, affinché i modelli a valle possano apprendere da questi dati. Secondo Meta, questo approccio raddoppia l’efficacia del trasferimento rispetto al sistema di distillazione delle conoscenze usato nella versione precedente, senza costi di calcolo o latenza aggiuntivi.
Un secondo sistema, Solaris, precalcola le rappresentazioni delle coppie utente-annuncio che potrebbero servire per una richiesta futura. Il lavoro procede in modo asincrono mentre la classificazione degli annunci restringe l’insieme dei candidati; la rappresentazione viene poi fornita poco prima che serva a un modello più piccolo. Se non è disponibile una rappresentazione esatta della coppia utente-annuncio, il sistema può usare rappresentazioni recenti dello stesso utente o di utenti con comportamenti simili, secondo Meta.
Migliaia di GPU e addestramento specializzato
GEM viene addestrato su diverse migliaia di GPU Meta di ultima generazione. Meta afferma di aver quadruplicato i FLOPs totali dell’addestramento nell’ultimo anno, raddoppiando al contempo l’efficienza dell’addestramento end-to-end fino a un utilizzo dei FLOPs del modello del 20%–25%, una misura dell’efficacia con cui le GPU eseguono i calcoli durante l’addestramento.
L’infrastruttura di addestramento usa kernel specifici per i sistemi di raccomandazione, tra cui Jagged Flash Attention e Generalized Dot-Product Attention, insieme alla precisione MXFP8 per i livelli di attention e feed-forward. Meta descrive anche un parallelismo a cinque dimensioni che tiene conto della topologia: diverse strategie distribuiscono i parametri densi e sparsi del modello tra le GPU, tenendo conto della struttura della rete del cluster per stabilire come comunicano. Il post dell’azienda presenta la progettazione di hardware, software e rete come uno sforzo congiunto, non come una semplice questione di aggiungere GPU.
I miglioramenti dichiarati hanno dettagli di misurazione limitati
Meta collega l’aumento di scala del modello a risultati pubblicitari misurabili, ma l’annuncio non fornisce il disegno della valutazione, i periodi di confronto o la ripartizione del traffico alla base dei dati sulle prestazioni. Questo rende difficile confrontare i miglioramenti dichiarati nelle conversioni e nel tasso di clic con i risultati di altri sistemi che usano valori di riferimento diversi. Il post specifica invece l’obiettivo ingegneristico: un modello pubblicitario condiviso, addestrato su migliaia di GPU, con un utilizzo end-to-end dei FLOPs del modello del 20%–25% dopo un anno in cui la potenza di calcolo impiegata per l’addestramento è quadruplicata.