The Pulse
Meta mette al lavoro la capacità di inferenza inutilizzata per il ranking degli annunci
Meta afferma di usare la capacità di inferenza dell’IA temporaneamente inutilizzata per valutare più annunci candidati e indirizzare alcune richieste selezionate verso modelli più potenti. L’azienda descrive misure di protezione contro le p
AI.info Team · Scritto con l’IA ·
La flotta di Meta può essere al tempo stesso a corto di capacità e inutilizzata
Meta afferma che la sua flotta dedicata all’inferenza dell’IA può avere una capacità complessiva insufficiente, mentre parte della potenza di calcolo rimane inutilizzata in determinate regioni, in certi momenti o su hardware che non può gestire il carico di lavoro richiesto. Il 12 ottobre l’azienda ha descritto un sistema che riunisce parte di questa capacità temporaneamente disponibile per le raccomandazioni pubblicitarie, pur potendo recuperarla con poco preavviso.
«Le flotte dedicate all’inferenza si trovano di fronte a un paradosso della capacità: possono essere limitate a livello globale mentre a livello locale restano inutilizzate quantità significative di capacità». Jinfu Leng, Rohith Menon, Nicolas Stier et al., Meta
Questa tensione determina la struttura del sistema: un lavoro aggiuntivo di ranking può migliorare la selezione degli annunci presi in considerazione, ma non deve sottrarre capacità al traffico ordinario. Meta afferma che il suo approccio impiega risorse altrimenti inutilizzate senza richiedere capacità aggiuntiva, anche se il suo articolo non quantifica né il miglioramento delle prestazioni né la capacità utilizzata dal sistema.
Due metodi sfruttano tipi diversi di capacità inutilizzata
Meta chiama il primo metodo Rank More Ads, o RMA. Il suo sistema pubblicitario restringe una selezione di milioni di annunci candidati attraverso una serie di fasi di ranking, nelle quali modelli di machine learning sempre più potenti valutano gruppi via via più piccoli. Quando è disponibile capacità inutilizzata, RMA fa passare più candidati attraverso queste fasi, aumentando la probabilità di trovare annunci pertinenti per una persona.
Questo lavoro aggiuntivo richiede sia capacità di CPU per attività a monte, come il recupero degli annunci e l’elaborazione delle caratteristiche, sia capacità degli acceleratori per l’inferenza dei modelli. Il secondo metodo di Meta, Serve Better Models, o SBM, mantiene invariato il numero di candidati, ma indirizza una quota maggiore di richieste verso un modello più potente. Poiché non aumenta in misura sostanziale il lavoro a monte della CPU, SBM può sfruttare capacità inutilizzata degli acceleratori che RMA non può usare.
Un segnale relativo al valore delle richieste aiuta SBM a decidere quali indirizzare verso il modello più potente. Meta afferma che un processo di esplorazione e sfruttamento misura il risultato aggiuntivo per diversi segmenti di richieste e poi adegua l’allocazione; mantiene inoltre una parte del traffico destinata all’esplorazione, così che il sistema possa continuare a verificare se le sue scelte restano efficaci.
Il servizio pubblicitario di base dispone di un margine di sicurezza separato
I due metodi proteggono il traffico ordinario in modi diversi. SBM usa destinazioni di instradamento separate: repliche dedicate servono il modello di base, mentre le repliche che usano capacità temporaneamente disponibile gestiscono le richieste selezionate per il modello più potente. Se quella capacità si riduce, il sistema diminuisce la quota inviata al modello più potente e instrada quelle richieste attraverso il percorso di base.
RMA usa invece un limite logico. Meta calcola quanto lavoro aggiuntivo di ranking dei candidati possono sostenere le repliche che usano capacità temporaneamente disponibile, quindi stabilisce un budget globale per quel lavoro. Quando la capacità diminuisce, RMA abbassa l’obiettivo relativo al numero di candidati; in entrambi i sistemi, afferma l’azienda, il lavoro facoltativo viene eliminato anziché trasferito sulla capacità riservata al servizio di base.
Cicli di feedback centralizzati adeguano gli obiettivi al mutare delle condizioni. Il controller di RMA usa la latenza osservata nei casi più lenti per aumentare o ridurre il numero di candidati inviati alle fasi successive, mentre il controller di SBM stabilisce la quota di richieste gestita dal modello più potente e i router lato client la applicano. Meta afferma che questi componenti centrali operano su una scala di minuti, lasciando un intervallo scoperto quando la capacità viene meno improvvisamente.
La riduzione locale del carico gestisce le perdite improvvise di capacità
Il meccanismo di ripiego più rapido di Meta opera sia sui server sia sui client. I server possono eliminare immediatamente il lavoro svolto sulla capacità temporaneamente disponibile e di minor valore se la capacità disponibile si riduce prima che i client ricevano gli obiettivi aggiornati; anche i client monitorano lo stato dei server e riducono il lavoro aggiuntivo quando rilevano un sovraccarico. L’azienda afferma che entrambi i tipi di riduzione del carico reagiscono nell’arco di pochi millisecondi.
Meta afferma di lavorare per ampliare la gamma di volumi di candidati e di modelli più potenti che il sistema può utilizzare, e per rendere i modelli trasferibili tra più regioni e tipi di acceleratori. Sta inoltre sviluppando la precomputazione, che anticipa parte del lavoro rispetto a una richiesta in tempo reale, e un sistema basato sull’ottimizzazione per allocare la capacità tra le opzioni disponibili. L’articolo del 12 ottobre descrive i meccanismi e i benefici attesi, ma non fornisce risultati numerici sulla pertinenza degli annunci, sui risultati per gli inserzionisti o sui risparmi di capacità.