Flusso ottico guidato da modelli fondazionali

Abstract degli autori

Studiamo come le rappresentazioni visive e della profondità preaddestrate e congelate possano contribuire alla stima del flusso ottico denso quando sono abbinate a una rete supervisionata per la ricerca di corrispondenze. Partendo da TTSFlow, questo lavoro esamina la decodifica delle caratteristiche di Dense Prediction Transformer (DPT) e un’unica fase di affinamento dal grossolano al fine. Il nostro metodo combina le caratteristiche dei modelli congelati DINOv2 e Depth Anything V2 e stima il flusso ottico attraverso una pipeline addestrabile di ricerca delle corrispondenze basata su transformer. Dopo l’addestramento per il flusso ottico su FlyingChairs e FlyingThings3D, ottiene un errore sugli estremi (EPE) di 2,37 sulla partizione di addestramento di Sintel, nel passaggio Final, rispetto a 2,52 per la configurazione FlowSeek (T) riportata qui. La nostra proposta per RoCo-Spring 2026, RoCo-29.VSAI, ottiene un punteggio bilanciato per robustezza di 1,1038, un EPE su Spring di 1,411 e un EPE proxy su RobustSpring di 4,739, con un punteggio bilanciato inferiore a quello di sette dei dodici metodi di riferimento elencati. Questi risultati descrivono la pipeline completa, che riutilizza backbone fondazionali congelati ed esegue un’unica fase di affinamento. Il codice è disponibile all’indirizzo: \url{https://github.com/Visual-and-Spatial-AI-Lab/FFlow}