FreeFlow: un transformer gerarchico senza bias per la stima del flusso ottico

Abstract degli autori

I metodi per la stima del flusso ottico si basano in genere su bias induttivi specifici per il compito, tra cui volumi di correlazione, deformazione delle rappresentazioni delle caratteristiche e raffinamento iterativo, per raggiungere un’elevata accuratezza. Pur essendo efficaci, questi bias vincolano il modello a euristiche predefinite, che possono limitarne la capacità espressiva e comportare pipeline più complesse e costi computazionali aggiuntivi. Presentiamo FreeFlow, un transformer gerarchico privo di componenti specifici per il flusso ottico, che impiega invece un unico encoder–decoder feed-forward. FreeFlow combina tre varianti di attenzione: attenzione a finestra per l’elaborazione locale, attenzione a finestre sfalsate per lo scambio di informazioni tra finestre e attenzione globale operante a una risoluzione ridotta. L’architettura risultante scala naturalmente con la capacità del modello, consentendo un aumento costante dell’accuratezza dalle varianti piccole a quelle grandi. Nonostante l’assenza dei consueti bias induttivi, FreeFlow ottiene risultati allo stato dell’arte nei principali benchmark, tra cui Sintel (0,68/1,48 EPE su Clean/Final), KITTI-2015 (3,23 Fl-all) e Spring (3,192 1px), mantenendo un uso efficiente della memoria nell’inferenza a 1080p.