SliderEdit++: traiettorie dei cursori migliorate nell’editing delle immagini basato su istruzioni

Abstract degli autori

I controlli a cursore mirano a offrire agli utenti un controllo continuo e preciso sull’intensità delle singole modifiche nell’editing delle immagini basato su istruzioni. Gli approcci esistenti, però, non garantiscono un controllo continuo affidabile: spostare un cursore può produrre bruschi salti visivi e cambiamenti non monotoni, mentre i cursori controllati congiuntamente possono interferire tra loro. Per studiare sistematicamente questi limiti, presentiamo SlideBench, un benchmark completo per l’editing continuo delle immagini che comprende diverse categorie di modifiche e include una serie unificata di metriche per quantificare la progressione monotona, la continuità percettiva e l’indipendenza tra cursori. Sulla base di queste osservazioni, proponiamo SliderEdit++, che regolarizza esplicitamente la traiettoria intermedia dell’editing anziché supervisionarne soltanto gli estremi. Il nostro metodo combina la regolarizzazione delle traiettorie nello spazio delle velocità e in quello semantico con il controllo spettrale, per favorire uno spostamento fluido e prevedibile dei cursori, e include un obiettivo di disaccoppiamento che riduce le interferenze tra modifiche controllate indipendentemente. Su SlideBench, SliderEdit++ ottiene prestazioni allo stato dell’arte, migliorando il punteggio complessivo del 18,5% rispetto alla baseline migliore. Allo stesso tempo, grazie all’uso di un backbone per l’editing a pochi passaggi, il nostro metodo è da circa 3 a 20 volte più veloce degli approcci esistenti basati su cursori, rendendo l’editing interattivo molto più reattivo.