FlyingDrones: un dataset e benchmark per la stima del flusso ottico dal movimento degli UAV

Abstract degli autori

Il flusso ottico è un indizio importante per l’analisi dei droni nella sorveglianza aerea, nel monitoraggio dello spazio aereo e nel tracciamento di bersagli a lungo raggio, dove il movimento resta informativo quando l’aspetto visivo è poco evidente. Stimare il movimento di piccoli velivoli senza pilota (UAV) è però difficile, perché i bersagli distanti occupano pochi pixel, hanno un contrasto basso e si muovono su sfondi dinamici complessi. I benchmark standard per il flusso ottico si concentrano sui movimenti ampi e centrati sugli oggetti e, di conseguenza, non descrivono adeguatamente i bersagli aerei distanti. Presentiamo FlyingDrones, un benchmark generato con flusso ottico denso e maschere di segmentazione di riferimento, ricavati tramite rendering basato sulla fisica, e definiamo metriche normalizzate rispetto alla risoluzione (EPE Norm), che normalizzano il flusso in base alle dimensioni dell’immagine. Valutiamo 16 famiglie di modelli all’avanguardia su un sottoinsieme, stratificato per movimento e dimensione, di 999 coppie di flussi a tre risoluzioni. Tutte le famiglie ricostruiscono il movimento dei droni meglio del riferimento a flusso nullo, ma il divario tra le famiglie aumenta con la risoluzione: a 1920x1080, i modelli basati su corrispondenze globali, ricorrenti, transformer e temporali a finestra breve si distinguono nettamente da quelli basati su piramidi, classici, self-supervised, leggeri e di diffusione. La variabilità tra checkpoint all’interno della stessa famiglia è paragonabile o superiore a quella tra famiglie, perciò il curriculum di addestramento è importante quanto l’architettura. Due studi complementari mettono alla prova il benchmark oltre l’accuratezza sintetica: una valutazione dell’allineamento del movimento priva di ground truth, condotta su filmati reali di UAV ripresi da 21 telecamere, mostra che la classifica sintetica fornisce un segnale moderato e significativo sulle prestazioni nel mondo reale (Spearman \r{ho} = 0.63 su 41 checkpoint), anche se le posizioni esatte in vetta alla classifica differiscono; uno studio di fine-tuning mostra che 800 coppie di FlyingDrones riducono fino al 37% l’errore nelle regioni dei droni del set di test e migliorano la localizzazione dei droni nei filmati reali per tutte e quattro le architetture testate.