Fin dove possono arrivare gli agenti di programmazione nella generazione visiva?

Abstract degli autori

La moderna generazione di immagini si basa in larga misura su modelli generativi specializzati, che lasciano implicito il processo di costruzione delle immagini nei parametri appresi. Esploriamo un’alternativa: agenti di programmazione generalisti che costruiscono immagini mediante programmi eseguibili. Il nostro studio del disegno zero-shot su AgentDrawBench, un benchmark di 200 prompt, rivela un profilo di capacità peculiare. Gli agenti eccellono nel preservare la struttura e nel rispettare vincoli visivi precisi, ottenendo risultati competitivi negli ambiti in cui l’accuratezza compositiva conta più dell’aspetto fotorealistico, pur restando limitati nella ricchezza percettiva. La loro espressività visiva varia a seconda dell’interfaccia di disegno, e uno studio qualitativo sulla ricostruzione mostra come le abilità procedurali estratte da dimostrazioni umane possano essere applicate a diversi mezzi artistici. Esaminiamo poi il codice come linguaggio visivo esterno del pensiero: una rappresentazione strutturata ed eseguibile che gli agenti possono costruire e ispezionare. Lo mettiamo alla prova in un compito di risposta a domande su immagini e scopriamo che il codice visivo ricostruito conserva una quantità sostanziale di informazioni utili a rispondere alle domande e, in alcuni ambiti, consente una maggiore accuratezza rispetto all’immagine originale. Queste capacità sollevano un’ulteriore domanda: gli agenti attingono a una rappresentazione interna condivisa del contenuto di una scena, che vada oltre un particolare programma di disegno? Esploriamo l’ipotesi di un linguaggio visivo interno del pensiero, in cui una rappresentazione condivisa, strutturata in modo compositivo, sostiene operazioni visive in diversi linguaggi di disegno. Disegni realizzati in ambienti di esecuzione diversi e immagini assemblate a partire da interrogazioni indipendenti su singoli pixel mostrano disposizioni e tonalità simili. Gli agenti mantengono inoltre le disposizioni delle stanze da loro stessi generate attraverso diversi punti di vista, anche dopo la rimozione dei disegni visibili. Questi risultati dimostrano che l’agente di programmazione manterrebbe nella propria immaginazione un mondo stabile e coerente già prima che intervenga l’ambiente di esecuzione e inizi la generazione.