Ragionare con la generazione di immagini

Abstract degli autori

Il ragionamento basato sulla catena di pensiero ha rivoluzionato l’elaborazione del linguaggio naturale, consentendo ai modelli linguistici di grandi dimensioni (LLM) di scomporre i problemi in passaggi intermedi prima di rispondere. Tuttavia, limitare il ragionamento al testo presenta dei limiti per i compiti che richiedono la manipolazione diretta di rappresentazioni visive. Alcuni lavori recenti affiancano agli LLM multimodali strumenti visivi esterni specializzati, come moduli per la stima della profondità o il rilevamento degli oggetti, ma questi approcci restano fondamentalmente limitati dalla dipendenza da operazioni circoscritte e rigide, incapaci di generare o trasformare con flessibilità contenuti visivi. Proponiamo ReImaGin, che impiega modelli di generazione di immagini come meccanismo flessibile di ragionamento visivo per gli LLM multimodali: a differenza degli strumenti a funzione fissa, questi modelli accettano istruzioni in linguaggio naturale e possono eseguire operazioni visive non predefinite, come rimuovere un’occlusione o generare una planimetria a partire da più viste separate di una stanza. In sei diversi compiti di ragionamento visivo, tra cui il ragionamento spaziale su più viste e la previsione delle collisioni, ReImaGin supera sistematicamente sia il ragionamento basato solo sul testo sia i metodi di riferimento basati su strumenti specialistici per la visione, con miglioramenti fino al 25\%. I risultati dimostrano il vantaggio di un ragionamento visivo flessibile e generativo.