Painting Change Map come guida per la generazione dei processi pittorici

Abstract degli autori

La generazione di arte digitale ha attraversato un profondo cambiamento di paradigma: dalla sintesi di immagini statiche alla generazione di video dinamici capaci di imitare il processo pittorico umano. Sebbene i modelli esistenti possano creare video in time-lapse visivamente sorprendenti di dipinti che prendono forma o vengono «cancellati», trattano perlopiù il processo creativo come una scatola nera. Gli attuali meccanismi di condizionamento sono troppo rigidi, perché si basano su indicazioni geometriche statiche come i contorni Canny o le mappe di profondità, oppure troppo generici, perché utilizzano semplici variabili scalari di avanzamento che non offrono alcun controllo localizzato. Di conseguenza, gli utenti non possono orientare il modo in cui un dipinto evolve nel tempo. In questo lavoro sosteniamo che, per controllare la generazione di video di opere d’arte, occorra comprendere congiuntamente due dimensioni fondamentali: dove interviene un artista e quando avvengono i suoi interventi. A questo scopo introduciamo Painting Change Map, un nuovo meccanismo di controllo spazio-temporale che traccia esplicitamente i cambiamenti strutturali normalizzati lungo un continuum di 1.000 passi temporali: una risoluzione sufficiente a cogliere cambiamenti dettagliati a livello di singola pennellata, pur rimanendo gestibile dal punto di vista computazionale. Mappando le differenze visive localizzate in uno spazio RGB codificato, la nostra rappresentazione consente di guidare con precisione sia il processo di realizzazione del dipinto sia quello inverso di rimozione della pittura. Un’ampia valutazione su benchmark dimostra l’efficacia del nostro approccio. Superiamo i metodi di controllo esistenti usati come riferimento e otteniamo risultati competitivi o superiori rispetto ai metodi pittorici più avanzati. Inoltre, in condizioni oracle, il nostro metodo supera tutti i metodi di riferimento con un margine significativo. Il codice è disponibile all’indirizzo https://github.com/Markus-Pobitzer/painting-change-map.