APT: post-training agentico guidato dal feedback per la generazione di immagini da testo

Abstract degli autori

Il post-training è fondamentale per migliorare i modelli di generazione di immagini da testo, ma le procedure esistenti si basano in genere su dati di addestramento selezionati manualmente e su distribuzioni di addestramento fisse. Presentiamo APT (Agentic Post-Training), un sistema completamente automatizzato che adatta il post-training di un modello di base all’evoluzione del suo profilo di capacità. APT coordina tre agenti per costruire insiemi di valutazione a partire dai requisiti degli utenti, individuare i punti di forza e le modalità di errore specifici del modello e generare dati per l’apprendimento per rinforzo usando una distribuzione adattiva dei prompt che dà maggiore peso alle capacità con prestazioni inferiori. Valutando, analizzando e aggiornando ripetutamente il generatore, APT fa sì che il comportamento attuale del modello determini i suoi successivi compiti di addestramento, creando un ciclo di feedback ispirato all’automiglioramento ricorsivo. Per gli impieghi generici in cui gli utenti non specificano scenari di valutazione, sviluppiamo inoltre un’infrastruttura di valutazione che consente di generare insiemi di valutazione ampi e diversificati. Esperimenti condotti su più modelli di base, benchmark e architetture di generazione dimostrano che APT è indipendente dal modello, dal benchmark e dall’architettura, ed è completamente automatizzato.