Apprendere a raggruppare e ordinare: RL auto-supervisionato tra istanze per MLLM orientati alla visione

Abstract degli autori

Il post-training con apprendimento per rinforzo (RL) è diventato un paradigma importante per migliorare i modelli linguistici multimodali di grandi dimensioni (MLLM), soprattutto grazie a ricompense verificabili automaticamente. I compiti visivi pretestuali auto-supervisionati forniscono ricompense di questo tipo senza annotazioni umane. Tuttavia, i metodi esistenti sfruttano principalmente la struttura all’interno delle singole istanze, offrendo una supervisione limitata per la discriminazione tra istanze e il confronto a grana fine. Introduciamo Group-and-Order Self-Supervised Reinforcement Learning (GO-SSL), un framework di jigsaw tra istanze per il post-training di MLLM orientati alla visione. Date due istanze visive, GO-SSL mescola i loro elementi locali e addestra il modello a raggrupparli in base all’istanza di origine, recuperando al contempo l’ordine all’interno di ciascun gruppo; in questo modo, combina il confronto a livello di istanza con il recupero della struttura spaziale, temporale o geometrica. Questa formulazione a coppie trasforma gli stessi dati non etichettati in una supervisione verificabile più ricca, grazie a diverse combinazioni a coppie, mescolamenti e un curriculum che va dal casuale al difficile. Implementiamo GO-SSL principalmente su compiti di jigsaw tra immagini e lo estendiamo inoltre alla profondità 3D e all’ordinamento temporale dei video. Su diversi benchmark, GO-SSL migliora costantemente rispetto all’MLLM di base e ai precedenti metodi di riferimento per il post-training auto-supervisionato, con chiari progressi nella percezione a grana fine e nella comprensione spaziale. Ulteriori valutazioni su diverse scale e famiglie di modelli ne avvalorano la generalizzabilità. Questi risultati suggeriscono che il confronto tra istanze fornisce un utile segnale di RL auto-supervisionato per migliorare la comprensione visiva trasferibile negli MLLM. Il codice è disponibile all’indirizzo https://github.com/SEU-VIPGroup/GO-SSL.