CrossTimeEdit: un dataset tra diverse viste che copre un decennio e un metodo di editing guidato da ricompense per generare viste stradali storiche

Abstract degli autori

Le immagini storiche delle viste stradali documentano l’evoluzione urbana, ma la copertura disomogenea lascia ampie lacune nella documentazione del passato. Generare rappresentazioni plausibili dell’aspetto passato richiede di ricostruire le strutture modificate preservando gli elementi della scena rimasti invariati. Abbiamo costruito VIGOR-his, un dataset tra diverse viste che copre un decennio e contiene 43.653 quadruple riferite a singole località in 11 città di tre continenti. La procedura automatizzata abbina le immagini in base alla posizione, ne verifica la coerenza, classifica i cambiamenti e genera e convalida descrizioni dei cambiamenti basate su immagini satellitari e istruzioni di editing locali. Sulla base di VIGOR-his, proponiamo CrossTimeEdit, un modello che riformula la generazione di viste stradali storiche come un’attività di editing: usa viste stradali recenti per vincolare il punto di vista e l’aspetto degli elementi invariati, e le differenze tra immagini satellitari di epoche diverse come prova dei cambiamenti. Partendo da FLUX.2 [Klein] 4B, addestriamo CrossTimeEdit con un fine-tuning supervisionato (SFT) seguito da apprendimento per rinforzo online (RL). Definiamo tre criteri per l’editing delle viste stradali — Instruction Alignment (IA), Background Preservation (BP) e Quality and Physical Plausibility (QP) — che fungono sia da dimensioni della ricompensa nell’RL sia da metriche di valutazione. Ottimizziamo questo obiettivo basato su più ricompense usando Within Group Relative Policy Optimization per modelli di flow matching (Flow-GRPO) con Group reward-Decoupled Normalization Policy Optimization (GDPO), che normalizza ciascuna dimensione della ricompensa prima dell’aggregazione. CrossTimeEdit migliora del 17,12\% le prestazioni complessive sui tre criteri di editing rispetto al modello di riferimento preaddestrato e supera i modelli di generazione tra diverse viste per coerenza della scena, realismo visivo e qualità percettiva. Il codice dell’implementazione, il dataset e i pesi del modello sono disponibili all’indirizzo https://luhanwen67.github.io/CrossTimeEdit-release/.