StateBridge: ragionamento ancorato a fasi e tracce per la generazione di didascalie e la risposta a domande su video del traffico, dal sintetico al reale

Abstract degli autori

I video sulla sicurezza stradale offrono prove dettagliate per comprendere le interazioni tra pedoni e veicoli, ma la valutazione dal sintetico al reale rende questo contesto difficile, perché i modelli devono apprendere da scene simulate e generalizzare al traffico del mondo reale. In questo lavoro presentiamo StateBridge, un framework per video e linguaggio sul traffico, progettato per operare con un protocollo di addestramento esclusivamente su dati sintetici. Il nostro approccio usa la costruzione di clip basata sulle fasi, riepiloghi delle tracce di pedoni e veicoli e prompt strutturati per ancorare i modelli di visione-linguaggio a evidenze stabili sul traffico, anziché al solo aspetto visivo. Eseguiamo il fine-tuning di modelli pubblici di visione-linguaggio su esempi sintetici di generazione di didascalie e risposta a domande visive, quindi combiniamo i loro output attraverso una fusione delle didascalie vincolata ai fatti e un consenso VQA basato su evidenze diverse, per migliorare la coerenza tra ruoli degli attori, fasi comportamentali e tipi di domanda. StateBridge ottiene un punteggio S2 ufficiale di 55,4679 all’AI City Challenge 2026 Track 2, usando esclusivamente dati sintetici per l’addestramento. Questi risultati dimostrano l’efficacia del trasferimento strutturato delle evidenze nella generazione di didascalie sulla sicurezza stradale e nella risposta a domande visive.