Trinity: modelli visione-linguaggio in autoevoluzione con un auto-verificatore

Abstract degli autori

I modelli visione-linguaggio (VLMs) in autoevoluzione, una forma di auto-miglioramento in cui un modello genera i propri dati di addestramento a partire da immagini non etichettate, rappresentano una strada promettente per realizzare agenti capaci di ampliare le proprie capacità di ragionamento in modo non supervisionato, senza dipendere da budget per l’annotazione sempre più ampi. I metodi esistenti affiancano un interrogante, che propone problemi, a un risolutore, che risponde, ma premiano entrambi i ruoli soprattutto in base all’accordo tra le risposte campionate. L’accordo è un indicatore debole della verità: non permette di stabilire se una domanda sia fondata sull’immagine, se la risposta di riferimento proposta sia corretta o se una maggioranza sicura di sé sbagli tutta allo stesso modo. Presentiamo Trinity, in cui un unico VLM svolge tre ruoli — interrogante, risolutore e verificatore — e il verificatore è un auto-verificatore: una media mobile esponenziale (EMA) della policy stessa, che non richiede né etichette né un giudice esterno. Il verificatore controlla ogni domanda generata per verificarne l’ancoraggio all’immagine e la correttezza della risposta prima che diventi un dato di supervisione, valuta il ragionamento del risolutore rispetto all’immagine e dirime le divergenze tra la risposta di riferimento e un forte consenso del risolutore, correggendo la risposta di riferimento e penalizzando l’interrogante quando il consenso è corretto. Addestrato solo su immagini, Trinity migliora Qwen3-VL-8B nel ragionamento visivo matematico e nei benchmark scientifici con contenuti di biologia, ottenendo, per esempio, +8,6 punti nella partizione di biologia di SciVQR e +12,8 su MathVerse; le sue dinamiche di ricompensa seguono inoltre quelle attese da un curriculum di self-play sano. Questi risultati suggeriscono che un agente multimodale in autoevoluzione possa rafforzare il proprio ragionamento scientifico basandosi soltanto su immagini scientifiche non etichettate, con il modello stesso a svolgere il ruolo di verificatore.