Where-OPD: autodistillazione on-policy dei MLLM guidata spazialmente con scene sintetiche

Abstract degli autori

L’autodistillazione on-policy si è recentemente affermata come un approccio efficace per migliorare il ragionamento dei modelli linguistici: gli studenti vengono supervisionati da una versione di sé stessi congelata o aggiornata tramite EMA, che riceve informazioni privilegiate. La sua applicazione ai modelli linguistici multimodali di grandi dimensioni (MLLM), tuttavia, resta in gran parte inesplorata. Approcci recenti usano informazioni visive privilegiate, come ritagli dell’immagine corrispondenti a una domanda, per migliorare la percezione dei dettagli, ma i loro benefici si limitano ai compiti che traggono vantaggio da questo ingrandimento visivo e richiedono dati di localizzazione annotati da esseri umani oppure modelli insegnanti esterni. Presentiamo una diversa forma di autodistillazione on-policy per i MLLM, in cui l’insegnante riceve indicazioni testuali, ancorate a riferimenti spaziali, che identificano gli elementi visivi pertinenti a una domanda. Usiamo scene generate proceduralmente, per le quali sono automaticamente disponibili le identità e le coordinate spaziali degli oggetti: questo consente un post-training scalabile e senza annotazioni. L’insegnante usa queste indicazioni spaziali per individuare e integrare informazioni provenienti da più regioni pertinenti dell’immagine, mentre lo studente impara a riprodurre il comportamento risultante usando soltanto l’immagine e la domanda. Il nostro approccio migliora sistematicamente le prestazioni nei benchmark di conteggio e di comprensione di documenti e grafici su più modelli. È importante notare che, sebbene il post-training usi soltanto scene sintetiche, i miglioramenti ottenuti si trasferiscono ai benchmark di percezione del mondo reale, con un aumento di 3,23 punti della prestazione media su CVBench, V*, ZoomBench, BLINK, HR-Bench e MME-RealWorld. Questi risultati mostrano che informazioni privilegiate ancorate a riferimenti spaziali possono sviluppare capacità percettive più ampie attraverso l’autodistillazione on-policy, consentendo un trasferimento dal sintetico al reale sostanziale, oltre il compito e la distribuzione dei dati usati per il post-training. Pagina del progetto: https://github.com/sirkosophia/Where-OPD