Integrare l’esperienza dell’agente nei pesi del modello di diffusione tramite distillazione del contesto on-policy

Abstract degli autori

Inserire un modello di generazione di immagini in un’infrastruttura agentica può migliorare le prestazioni nei compiti Text-to-Image: l’infrastruttura può sfruttare memoria, competenze, orchestrazione del flusso di lavoro, verifica dei risultati e perfezionamento iterativo per costruire e rivedere continuamente i prompt, ottenendo così immagini migliori. Questi miglioramenti, tuttavia, restano esterni al modello di diffusione e si manifestano solo quando è in esecuzione l’intera infrastruttura. Proponiamo Diffusion On-Policy Context Distillation (D-OPCD), un metodo che tratta il prompt migliorato dall’agente come contesto privilegiato e distilla nei pesi del modello di diffusione le conoscenze codificate nell’infrastruttura agentica, affinché il modello conservi parte dei benefici dell’infrastruttura anche quando è condizionato soltanto dalla richiesta originale. Utilizzando un agente Text-to-Image dotato del nostro Auto Skill Evolver (ASE), mostriamo che D-OPCD può incorporare le capacità dell’infrastruttura nei pesi del generatore, portando il punteggio medio della generazione diretta da 60,52 a 65,09 su quattro benchmark. Una volta assorbite queste conoscenze nei pesi, l’infrastruttura può abbandonare le competenze ormai sature e riprendere a evolversi: un secondo ciclo di ASE sul generatore aggiornato ottiene ulteriori 1,83 punti rispetto a un’infrastruttura priva di competenze, indicando la possibilità di sistemi Text-to-Image in cui infrastruttura e modello continuano a migliorarsi a vicenda attraverso una coevoluzione continua.