Riconoscimento visivo dei luoghi basato su flussi di eventi e assistito dal testo tramite trasporto ottimo spazio-temporale multiscala

Abstract degli autori

Grazie all’elevata gamma dinamica, all’alta risoluzione temporale e al basso consumo energetico delle telecamere a eventi, la ricerca sull’economia a bassa quota che sfrutta queste telecamere è diventata un tema popolare. Diversi approcci esistenti introducono descrizioni in linguaggio naturale nel riconoscimento visivo dei luoghi (VPR) per mitigare la scarsità di informazioni spaziali strutturali intrinseca alle telecamere a eventi. Tuttavia, questi metodi non riescono ancora ad affrontare pienamente due sfide fondamentali: codificare efficacemente i flussi di eventi e allinearli semanticamente al testo. In questo articolo proponiamo un approccio di trasporto ottimo spazio-temporale multiscala, MSTOT-EPR, per affrontare queste sfide. In particolare, date le sequenze di eventi e le informazioni testuali della scena, utilizziamo prima un encoder visivo e un encoder testuale per estrarre le rispettive rappresentazioni delle caratteristiche. Applichiamo quindi vincoli di trasporto ottimo per ottenere un allineamento tra modalità. Progettiamo poi un modulo di fusione cross-modale a collo di bottiglia per fondere ulteriormente le caratteristiche bimodali. Inoltre, sviluppiamo moduli di trasporto ottimo spaziale multiscala e di trasporto ottimo temporale tra frame per estrarre caratteristiche spazio-temporali di alta qualità dagli eventi, utili al riconoscimento delle scene. Esperimenti approfonditi sui dataset NYC-Event-VPR ed EPRBench convalidano pienamente l’efficacia del framework proposto per il VPR basato su eventi. Il codice sorgente di questo articolo sarà reso pubblico dopo l’accettazione.