ChronoReplay: una sola modalità di risposta non basta per l’intelligenza spaziale in streaming

Abstract degli autori

Addestrare un VLM spaziale a rispondere da quale lato si trovi un oggetto non richiede che conservi lo spostamento metrico da cui dipende la risposta, mentre la supervisione per stimare una distanza può lasciare in gran parte indeterminati i rapporti categoriali. Quando la fase successiva dell’addestramento privilegia un tipo di risposta, i miglioramenti possono quindi concentrarsi su quella modalità, mentre il trasferimento alle altre resta debole o addirittura peggiora: chiamiamo questa specializzazione osservata «interface lock-in». ChronoReplay la affronta riproponendo forme eterogenee di supervisione spaziale come episodi in ordine cronologico, conservando gli obiettivi nella forma propria di ciascuna fonte e bilanciando la supervisione tra le diverse famiglie. A parità di accesso alle osservazioni, un unico checkpoint di ChronoReplay migliora contemporaneamente i risultati su OVO-S-Bench, OST-Bench e UCS-Bench, con un incremento di 13,41 punti su OST-Bench, e ottiene la media più alta sui tre benchmark tra le configurazioni di supervisione qui confrontate. Ulteriori controlli sugli stessi dati permettono di distinguere il contributo dei diversi elementi a questo trasferimento: la serializzazione delle risposte ridistribuisce i miglioramenti tra OST e UCS; un apprendimento bilanciato tra le famiglie supera sia il consueto SFT congiunto sia la ponderazione naturale dei turni; la riproposizione in ordine cronologico supera un controllo con ordine traslato di circa 2,41 punti su OST in due coppie di seed. La selezione adattiva dei frame modifica poi l’accesso alle evidenze mantenendo fisso il modello addestrato, e offre un ulteriore miglioramento in fase di inferenza a un costo visivo inferiore. Le prestazioni spaziali in streaming dipendono da quali distinzioni preserva la supervisione, da come vengono organizzate durante l’apprendimento le sequenze eterogenee di osservazioni e da quali evidenze causali sono disponibili al momento dell’inferenza durante il test.