AdaptVPR: generazione di positivi difficili in base al percorso per un riconoscimento visivo dei luoghi robusto

Abstract degli autori

Il riconoscimento visivo dei luoghi (VPR) localizza un’immagine di query recuperando da un database immagini dello stesso luogo o di luoghi vicini. La sua robustezza, però, è spesso compromessa dai cambiamenti di dominio dovuti all’illuminazione, alle condizioni meteorologiche, alle variazioni stagionali e alle occlusioni dinamiche. Un fattore che contribuisce al problema è la limitata varietà degli aspetti con cui lo stesso luogo compare nei dati di addestramento esistenti. Per affrontarlo, proponiamo AdaptVPR, un framework di aumento generativo dei dati che sceglie il percorso di generazione e crea positivi difficili dello stesso luogo per addestrare sistemi VPR più robusti. AdaptVPR usa dapprima un modello visione-linguaggio per analizzare gli attributi della scena e stimare la fattibilità delle modifiche; un sistema di pianificazione basato su regole determina quindi il percorso di generazione in base ai punteggi di modificabilità e ai vincoli di rischio. Il processo di generazione è suddiviso in tre percorsi complementari: la Global Appearance Route introduce cambiamenti globali nella scena relativi alle condizioni meteorologiche, all’illuminazione e all’ora del giorno; la Local Occlusion Route inserisce elementi dinamici plausibili che occludono la scena; la Dual Route combina entrambi i tipi di perturbazione per produrre variazioni di aspetto più impegnative. Ogni candidato generato viene valutato con una procedura di verifica orientata al VPR, basata sulla coerenza geometrica e sulla varietà degli aspetti: ciò riduce il rischio di alterazioni strutturali e garantisce al tempo stesso una variazione di aspetto sufficiente. I candidati globali vengono generati una sola volta e scartati se non superano la verifica, mentre per i candidati Local Occlusion e Dual i risultati della verifica vengono usati per affinare in misura limitata i prompt e ripetere la generazione. Con questo framework realizziamo AdaptCities, che contiene 160K positivi difficili sintetici e verificati relativi allo stesso luogo. Esperimenti condotti con diversi modelli VPR di riferimento e backbone di modelli fondazionali di visione mostrano miglioramenti costanti sui benchmark standard e miglioramenti sostanziali in presenza di cambiamenti di dominio impegnativi, con incrementi di R@1 fino al 9,2%. Il codice sorgente e le risorse di dati sono disponibili pubblicamente all’indirizzo https://github.com/chenshunpeng/AdaptVPR.