OmniHarness: sfruttare la generazione visiva generalizzabile attraverso l’apprendimento di politiche simboliche

Abstract degli autori

I modelli linguistici di grandi dimensioni multimodali unificati (MLLM) e i sistemi multiagente hanno fatto progredire la generazione visiva. Restano però tre limiti. (1) I metodi esistenti spesso distillano esperienze specifiche per un compito, con una generalizzabilità limitata. (2) La riflessione viene spesso rimandata fino al completamento del compito. (3) Le conoscenze vengono spesso acquisite solo in risposta alle esigenze dei compiti a valle. Per affrontare questi limiti, presentiamo OmniHarness, un framework per la generazione visiva generalizzabile attraverso l’apprendimento di politiche simboliche. OmniHarness ricava per astrazione dalle esecuzioni verificate politiche simboliche per famiglie di compiti di generazione visiva, cogliendo procedure condivise e condizioni di applicabilità ed eliminando gli input specifici delle singole istanze. Il framework istanzia, adatta e combina queste politiche per nuovi compiti. La verifica intermedia guida il perfezionamento e il recupero in caso di errore durante l’esecuzione. Attraverso un’esplorazione autonoma, OmniHarness genera ed esegue autonomamente compiti di esercitazione vicini ai limiti delle proprie capacità prima che vengano specificati gli obiettivi a valle. Il feedback sull’esecuzione perfeziona continuamente le politiche, mentre i parametri del modello restano fissi. Esperimenti su sei benchmark, tre modelli MLLM di base e tre framework di agenti visivi mostrano prestazioni elevate e un ampliamento continuo delle capacità. Nei compiti Creative di ComfyBench, OmniHarness raggiunge un tasso di risoluzione del 95,0%, superando la migliore baseline di 27,5 punti percentuali. Le istantanee delle politiche, mantenute fisse, migliorano i sistemi di agenti visivi esistenti grazie al riutilizzo plug-and-play.