SIMIT: modelli di visione-linguaggio che si auto-migliorano tramite l’immaginazione in fase di test

Abstract degli autori

Presentiamo SIMIT, un framework di auto-miglioramento in fase di test in cui un modello di visione-linguaggio crea i propri dati di addestramento specifici per la richiesta prima di rispondere a una richiesta di test priva di etichette. Il nostro obiettivo è migliorare le prestazioni su un determinato set di test obiettivo senza annotazioni o modelli esterni. Per raggiungere questo obiettivo, alcuni metodi applicati in fase di test migliorano le risposte ricorrendo a ragionamenti più lunghi o a campionamenti ripetuti, ma non modificano il modello. Altri aggiornano il modello usando ricompense basate sull’accordo della maggioranza tra più risposte candidate o sui giudizi di correttezza espressi dal modello stesso; queste ricompense, però, possono rafforzare gli errori già presenti. SIMIT, invece, immagina problemi simili di cui controlla le soluzioni: per creare esempi di esercitazione utili, un modello non deve risolvere correttamente la richiesta obiettivo. Genera triplette diversificate (domanda, risposta, immagine), specificando ciascuna risposta prima di generare la relativa immagine. Per supportare diverse attività multimodali, SIMIT combina la generazione nativa di immagini con una libreria di competenze estensibile per contenuti visivi strutturati, tra cui documenti, grafici e diagrammi. All’interno di questa pipeline, una verifica in più fasi controlla che le immagini supportino le risposte loro assegnate, mentre un filtro basato sulla difficoltà conserva gli esempi informativi. Il budget adattivo orienta ulteriormente l’esercitazione, assegnando più campioni alle richieste a cui il modello è meno sicuro di saper rispondere. I dati così ottenuti possono migliorare il modello tramite apprendimento in-context (SIMIT-ICL) o aggiornando i pesi (SIMIT-FT). Su 17 benchmark diversificati, SIMIT supera i metodi di auto-miglioramento esistenti. La sua configurazione migliore ottiene un guadagno relativo medio del +7,20% rispetto a BAGEL-7B, mentre SIMIT-ICL, che non richiede addestramento, raggiunge il +6,98%.