EditAgent: ripensare l’editing agentico delle immagini

Abstract degli autori

Gli editor agentici di immagini scompongono le richieste complesse in passaggi, ma quando un passaggio fallisce, per lo più riprovano usando lo stesso insieme ristretto di strumenti e un valutatore che assegna direttamente a occhio un punteggio a ciascun risultato. Sosteniamo che questi agenti siano limitati da due spazi: lo spazio delle azioni, che definisce ciò che l’agente può fare, e lo spazio delle osservazioni, che definisce ciò che il suo valutatore può vedere. Sul nostro benchmark annotato da esperti, un editor generico non produce risultati utilizzabili in oltre il 40% dei casi e nessun valutatore è affidabile per tutti i tipi di modifica. Presentiamo EditAgent, che amplia entrambi gli spazi. Il sistema indirizza ogni passaggio a editor generici e metodi specializzati e allega a ciascun candidato una scheda di verifica. Con queste schede, i valutatori VLM disponibili sul mercato superano i modelli di reward sottoposti a fine-tuning. I candidati vengono generati in parallelo e valutati con un’unica chiamata listwise: nelle comparazioni con esito definito, gli esperti preferiscono questo approccio al perfezionamento sequenziale nel 78,5% dei casi, con un numero di chiamate al valutatore non superiore alla metà. EditAgent migliora due editor open-weight su tre benchmark e funge da motore di dati per addestrare editor più performanti.