OBB-PBD: estendere la decodifica parallela dei riquadri ai riquadri di delimitazione orientati per la localizzazione tramite espressioni referenziali nelle immagini aeree

Abstract degli autori

La localizzazione tramite espressioni referenziali nelle immagini riprese dall’alto richiede riquadri di delimitazione orientati, anziché orizzontali, perché gli oggetti visti dall’alto possono avere qualsiasi orientamento. La maggior parte dei modelli di localizzazione genera le coordinate dei riquadri in sequenza; Parallel Box Decoding (PBD), invece, predice tutti gli slot geometrici in un’unica elaborazione, ma soltanto per riquadri orizzontali a quattro coordinate. Estendiamo questa interfaccia allineata ai blocchi a una rappresentazione orientata a sei slot mediante una parametrizzazione a doppio angolo. Anziché dedurre la correttezza del modello dalla diminuzione della curva della funzione di perdita, verifichiamo l’estensione con controlli basati sul rimescolamento delle immagini e dei prompt e con test di visibilità e leakage. Questi mostrano che il modello corretto dipende sia dall’immagine sia dal prompt, e non soltanto dalle statistiche dei prompt. Sul benchmark aerial vehicle visual grounding (AVVG), i cui oggetti bersaglio sono effettivamente orientati, il modello esteso porta l’intersezione sull’unione per riquadri ruotati (rotIoU) da 0,1253 per il modello di riferimento zero-shot a 0,303 +/- 0,012 (media +/- deviazione standard su tre seed di addestramento) sull’intera partizione di test, composta da 6139 record relativi a tutte le 120 immagini. L’apprendimento dei riquadri orientati, anziché dei loro riquadri di inviluppo allineati agli assi, aggiunge 0,055 +/- 0,008 rotIoU rispetto a un controllo comparabile (gli intervalli di confidenza al 95% per ciascun seed escludono tutti lo zero), mentre la sola espansione del blocco non produce alcun incremento di rotIoU distinguibile da zero.