Jag: previsione diretta dei riquadri per un grounding visivo efficiente

Abstract degli autori

Il grounding visivo combina la comprensione di immagini e linguaggio con la previsione geometrica, ma i modelli multimodali autoregressivi spesso rappresentano un riquadro come una sequenza di coordinate. La decodifica sequenziale aggiunge calcoli all’elaborazione multimodale necessaria per la localizzazione. Adattare queste rappresentazioni alla geometria dei riquadri offre una via per la previsione diretta. Presentiamo Jag, che adatta un modello multimodale compatto preaddestrato alla previsione diretta e continua dei riquadri. Una leggera componente di regressione legge lo stato dell’ultimo token di input valido, condizionato dall’immagine e dall’espressione di riferimento, e prevede insieme tutte e quattro le coordinate del riquadro. La supervisione geometrica adatta congiuntamente il modello linguistico di base, il componente di fusione visiva e la componente di regressione, consentendo agli errori di localizzazione di influenzare sia le rappresentazioni multimodali sia la corrispondenza con le coordinate. Durante l’inferenza, Jag mantiene l’elaborazione di immagini e linguaggio e restituisce il riquadro in un’unica esecuzione del modello, senza generare coordinate né analizzare testo. Nei diversi benchmark, Jag migliora sistematicamente la precisione del grounding rispetto al modello di base per le dimensioni dei bersagli e i gruppi di espressioni osservati. Gli esperimenti di ablazione dei componenti mostrano che adattare congiuntamente le rappresentazioni e la componente di regressione migliora notevolmente la precisione rispetto all’addestramento della sola componente di regressione. Rispetto ai modelli specializzati per il grounding già esistenti, raggiunge una precisione competitiva con una latenza inferiore per singola richiesta e un minore utilizzo della memoria GPU. Questi risultati mostrano come una supervisione calibrata sulla risposta geometrica possa specializzare un modello multimodale compatto preaddestrato per un grounding accurato e una previsione diretta efficiente. Pagina del progetto: https://xyzzzh.github.io/Jag/