Vai al contenuto
AI.info

The Pulse

Meta: l’allocazione della capacità di calcolo ha migliorato il ranking degli annunci di circa il 10%, oltre ai progressi di modelli e sistemi

Meta ha descritto un sistema di pubblicazione degli annunci che distribuisce le risorse di calcolo tra richieste, modelli e hardware. Secondo l’azienda, dal 2017 alla prima metà del 2026 il sistema ha contribuito a un ulteriore miglioramento di circa il 10% delle prestazioni di ranking sulle principali superfici, oltre ai progressi di modelli e sistemi.

Meta: l’allocazione della capacità di calcolo ha migliorato il ranking degli annunci di circa il 10%, oltre ai progressi di modelli e sistemi

Meta afferma che il suo sistema per distribuire le risorse di calcolo tra le richieste di annunci ha contribuito a migliorare di circa il 10% le prestazioni di ranking degli annunci sulle principali superfici dal 2017 alla prima metà del 2026, oltre ai guadagni derivanti dai progressi di modelli e sistemi. Un post tecnico pubblicato l’11 novembre descrive come il sistema, chiamato Intelligent Delivery, stimi dove il calcolo aggiuntivo avrà il maggiore effetto e ne adegui l’allocazione lungo lo stack di pubblicazione.

Il sistema opera mentre i modelli di Meta per il ranking degli annunci si avvicinano alla scala dei grandi modelli linguistici. Le sue decisioni di allocazione riguardano richieste, modelli, parchi hardware e fasi di ranking, entro i limiti della capacità di erogazione disponibile e dei tempi di risposta.

Prevedere il valore del calcolo

Il calcolo aggiuntivo può avere effetti diversi a seconda della superficie del prodotto, dell’intento dell’utente, della qualità degli annunci candidati e dello stato del sistema. Inizialmente Meta raggruppava le richieste in base ad attributi come la superficie e il contesto, con gli ingegneri che definivano le politiche di allocazione per ciascun gruppo; secondo l’azienda, l’approccio ha migliorato i risultati ma non era scalabile con il moltiplicarsi dei segnali.

Il Resource Core Model ha 6 miliardi di parametri sparsi e 20 milioni di parametri densi. Viene eseguito una volta prima del recupero dei candidati ed è condiviso lungo il funnel di pubblicazione; da esso vengono ricavati tramite fine-tuning modelli specializzati che generano segnali su risultati, consumo di risorse di calcolo e latenza.

Nei benchmark offline sulle principali superfici, l’approccio basato sul machine learning ha migliorato di circa il 20% l’identificazione delle richieste con il maggiore impatto rispetto al precedente modello in produzione, secondo Meta. Le previsioni alimentano i meccanismi che determinano come allocare le risorse.

Spostare le risorse lungo lo stack

Le decisioni di allocazione sono organizzate in una gerarchia. L’infrastruttura sposta il traffico tra regioni in cicli di alcuni minuti, tenendo conto delle differenze nell’hardware e nella capacità disponibile.

All’interno del parco hardware, i carichi di lavoro vengono assegnati alle macchine disponibili in base all’efficienza misurata per ciascuna combinazione di carico e hardware. Secondo l’azienda, il recupero è vincolato dalla capacità di memoria, il ranking dalla capacità di calcolo e l’inferenza dei modelli dal throughput degli acceleratori.

All’interno di un host, il sistema prevede il risultato atteso di ciascuna richiesta e i relativi costi in termini di calcolo e latenza. Valuta poi queste stime rispetto al budget di latenza dell’host; quando il carico aumenta, vengono ridotte per prime le operazioni che richiedono molte risorse e per le quali si prevede un impatto limitato.

Altre decisioni riguardano il numero di annunci da classificare in ogni fase e i candidati da includere nel gruppo. Meta testa le modifiche in un ambiente hardware a ciclo chiuso, perché un cambiamento in un punto, come lo spostamento del traffico tra regioni, può influire sulle decisioni prese altrove.

Agenti e lavoro futuro

Gli agenti di IA monitorano il sistema per individuare cambiamenti e inefficienze, esaminano il codice sorgente, i documenti di progettazione e i log degli esperimenti, e propongono modifiche da testare. Gli ingegneri esaminano e approvano le modifiche finali prima del rilascio.

Secondo Meta, nella prima metà del 2026 gli agenti hanno contribuito a circa il 20% delle ottimizzazioni di Intelligent Delivery. Per il suo meccanismo più automatizzato, l’azienda afferma che gli agenti contribuiscono ora a circa l’80% del lavoro di ingegneria e hanno ridotto il ciclo di ottimizzazione da mesi a settimane.

La comprensione di una richiesta e la decisione su come evaderla restano fasi separate. Meta sta lavorando per combinarle in un unico modello in tempo reale, studiando anche l’allocazione per i grandi modelli di ranking che vengono eseguiti sempre più spesso su GPU, la cui capacità, il batching e la memoria si comportano diversamente dal tempo di CPU.

Fonte

Notizie correlate

Esplora

Altri articoli