The Pulse
Meta afferma che i template riducono del 92% il tempo di ingegneria per modello
Meta ha descritto un sistema basato su template condivisi per sviluppare e distribuire modifiche ai propri modelli di ranking pubblicitario. Secondo l’azienda, nell’arco di due anni questo approccio ha ridotto del 92% il tempo di ingegneria per modello.

Meta afferma che un sistema basato su template condivisi ha ridotto del 92% il tempo di ingegneria necessario per aggiornare ciascuno dei suoi modelli di ranking pubblicitario nell’arco di due anni. In un post tecnico, l’azienda dichiara di aver distribuito più di 5.000 combinazioni di tecniche e modelli attraverso questo approccio e di aver migliorato in media dello 0,63% la qualità dei modelli offline, a capacità di serving neutra. Riferisce inoltre un incremento online cumulativo dello 0,86%, relativo al 70% dei modelli in termini numerici.
Fonte engineering.fb.com
Il post, pubblicato il 18 novembre, descrive come i design riutilizzabili dei modelli sostituiscano parte del lavoro necessario per adattare separatamente a ciascun modello ogni miglioramento. Meta chiama questo approccio Standard Model Templates, o SMT.
Design condivisi per i modelli di ranking
I sistemi di ranking pubblicitario di Meta elaborano miliardi di richieste al giorno attraverso i suoi prodotti e obiettivi di ottimizzazione. Con l’aumento del numero dei modelli in produzione, questi si sono differenziati anche per architettura, funzionalità, impostazioni di addestramento e vincoli di serving.
Secondo l’azienda, questa diversità rendeva costoso applicare ampiamente nuove idee e complicava l’affidabilità e le previsioni dell’effetto di una modifica sull’intero parco di modelli. Un miglioramento che funzionava per un modello poteva richiedere ulteriori adattamenti prima di poter essere utilizzato altrove.
I template combinano componenti condivisi, tra cui scelte architetturali, logica delle funzionalità, impostazioni di addestramento e configurazioni di serving. I modelli simili vengono raggruppati attorno a un numero più ridotto di design, mentre la logica specifica di ciascun modello viene mantenuta dove necessario.
I template coprono i principali schemi di ranking e recupero attraverso modelli di diverse dimensioni. Includono inoltre componenti per la selezione delle funzionalità, l’interazione tra funzionalità, il parallelismo dei modelli e il serving consapevole dell’hardware.
Testare le modifiche su più modelli
Le tecniche candidate vengono testate su modelli rappresentativi in un processo che Meta chiama ottimizzazione multi-modello. Il processo cerca configurazioni che migliorino le prestazioni aggregate limitando al contempo le regressioni, invece di scegliere basandosi soltanto sull’entità del guadagno medio.
Le candidate vengono poi verificate su modelli tenuti da parte, per valutare se i loro vantaggi si trasferiscono al di là dell’insieme rappresentativo. Le tecniche che superano la verifica vengono integrate nella versione successiva del template, che può essere distribuita ai modelli che lo utilizzano.
Meta afferma di aver distribuito 80 nuove tecniche di machine learning attraverso questo flusso di lavoro nell’arco di due anni. L’azienda afferma inoltre che i template condivisi facilitano il riutilizzo delle decisioni sull’allocazione delle risorse e sui compromessi tra costi e prestazioni.
Risultati nel documento di ricerca
Un preprint correlato su arXiv descrive uno studio condotto in cinque cicli di iterazione nell’arco di 30 mesi e su centinaia di modelli in produzione. Per i modelli lanciati, il preprint riporta un miglioramento medio dello 0,77% della cross-entropia a capacità di serving neutra e un incremento cumulativo dell’1,52% nelle metriche online.
Gli autori riportano inoltre una riduzione del 92% del tempo di ingegneria necessario per ogni iterazione di un modello e un aumento di 6,3 volte della velocità di adozione delle coppie tecnica-modello. Questi sono i dati riportati nel documento per lo studio in cinque cicli; il post tecnico fornisce i dati distinti relativi ai due anni citati sopra.
Il documento descrive sei template in uso, che coprono l’intero parco di modelli e si differenziano per paradigma del modello e tipo di interazione tra funzionalità. Confronta il processo basato sui template con l’ottimizzazione indipendente per singolo modello nei sistemi di raccomandazione.
Usare agenti con i template
Meta utilizza inoltre i template come base per un approccio multi-agente alla creazione di modelli. A livello di template, gli agenti propongono idee di ottimizzazione, conducono esperimenti su modelli rappresentativi, diagnosticano i fallimenti e ripetono il processo per più cicli.
L’azienda indica come ulteriori ambiti di lavoro la copertura dei template e l’ottimizzazione basata sulle leggi di scala, oltre al passaggio a flussi di lavoro agentici completamente end-to-end. Questi flussi includono la creazione di template, la generazione di modelli, la valutazione online e l’ottimizzazione continua basata sui segnali online.
Fonti
Aziende in questa notizia
Notizie correlate
- Meta afferma che gli agenti di IA gestiscono la maggior parte dei trasferimenti di tecniche tra modelli di ranking degli annunci
- Meta: l’allocazione della capacità di calcolo ha migliorato il ranking degli annunci di circa il 10%, oltre ai progressi di modelli e sistemi
- OpenAI nomina Aleph rivenditore esclusivo di ChatGPT Ads in 44 mercati
- Meta porta gli acquisti Loblaw su Muse in Canada
- Meta porta l’agente IA Muse in Australia, mentre arrivano i connettori locali