Comprensione e localizzazione multimodali a grana fine con Generalized CycleGRPO

Abstract degli autori

Un’IA multimodale a grana fine richiede modelli capaci sia di comprendere una regione specifica sia di localizzarla a partire dal linguaggio. I metodi esistenti apprendono queste due capacità con obiettivi separati e annotazioni specifiche per ciascun compito. Presentiamo Generalized CycleGRPO, il primo framework unificato di apprendimento per rinforzo che collega comprensione e localizzazione delle regioni negli ambiti spaziale, temporale e spazio-temporale. Data una regione, un modello linguistico multimodale di grandi dimensioni genera descrizioni candidate e poi localizza ciascuna descrizione per ricostruire la regione di partenza. La sovrapposizione della regione ricostruita fornisce una ricompensa verificabile per la generazione delle didascalie, mentre le ricompense per le singole localizzazioni migliorano la corrispondenza inversa. Una formulazione comune nello spazio delle regioni estende questo ciclo dalle maschere e dai riquadri nelle immagini agli intervalli video e alle evidenze spaziali associate a timestamp, senza didascalie di riferimento né un modello linguistico esterno che funga da giudice durante l’apprendimento per rinforzo. Nei video, il ciclo favorisce descrizioni che distinguono un evento bersaglio da ricorrenze simili. Introduciamo DOVE (Distinctive Occurrence-level Video-caption Evaluation), un benchmark contrastivo verificato da esseri umani per valutare questa capacità di distinguere gli eventi nel tempo. CycleGRPO porta la gIoU complessiva di SAMTok dal 57,5% al 68,2% su GroundingSuite e la gIoU media dal 71,2% al 78,7% su GRES. Nei compiti temporali ottiene una tIoU del 51,9% su Charades e una copertura delle evidenze temporali del 33,3% su DOVE, rispetto al 45,6% e al 14,8% dell’inizializzazione Qwen3-VL. Questi risultati stabiliscono la coerenza del ciclo regione-testo come principio generale di autovalutazione per la comprensione e la localizzazione multimodali. I modelli, il codice e DOVE sono disponibili all’indirizzo https://devinxzhang.github.io/Generalized-CycleGRPO-Page/.