Oltre le ipotesi a priori spazio-temporali: un approccio generalizzabile per individuare corrispondenze dense

Abstract degli autori

L’individuazione di corrispondenze dense è stata storicamente vincolata da ipotesi a priori spazio-temporali semplificatrici, come il movimento regolare e la geometria rigida. Efficaci nei compiti classici, queste ipotesi non reggono nella modifica delle immagini e nella generazione guidata da un riferimento (IEG), dove le trasformazioni possono preservare l’identità visiva pur interrompendo la continuità fisica. Per stabilire corrispondenze che preservino l’identità attraverso tali trasformazioni, presentiamo FreeMatching, un approccio generalizzabile che combina rappresentazioni fondazionali generative e semantiche con una supervisione eterogenea proveniente da dataset classici, video con tracciamento e scene sintetiche. Un perfezionamento iterativo guidato da un teacher migliora ulteriormente le corrispondenze nell’IEG senza annotazioni di corrispondenze dense. Negli esperimenti, un unico modello FreeMatching migliora sensibilmente la qualità delle corrispondenze tra coppie di immagini IEG complesse, mantenendo prestazioni competitive sui benchmark classici. Dimostriamo inoltre la sua utilità come metrica quantitativa per valutare la conservazione dell’identità, con punteggi correlati al giudizio umano. Il codice è disponibile all’indirizzo https://github.com/luping-liu/FreeMatching.