Look Before You Reason: pensiero visivo implicito per un ragionamento multimodale efficiente

Abstract degli autori

I modelli visivo-linguistici (VLM) hanno compiuto rapidi progressi nel ragionamento multimodale, ma restano limitati nei compiti che richiedono una comprensione dettagliata di regioni dell’immagine piccole o facili da trascurare. I recenti approcci che permettono di ragionare con le immagini attenuano questo limite consentendo ai modelli di esaminarle tramite operazioni come l’ingrandimento, il ritaglio o l’esecuzione di codice. Pur essendo efficaci, le loro interazioni a più turni con i VLM comportano calcoli ridondanti sui token e rallentano l’inferenza, oltre a separare l’esame di una regione dal passaggio del ragionamento che ne dipende. Per affrontare questi problemi, proponiamo Look Before You Reason (LoRe), un framework di pensiero visivo implicito per un ragionamento visivo efficiente nell’ambito di un’interazione a turno unico con un VLM. Data un’immagine e una domanda, LoRe individua la regione dell’immagine più pertinente, la allinea alle caratteristiche delle patch d’immagine corrispondenti e rafforza le relative voci della cache key-value (KV). La successiva decodifica può così sfruttare direttamente gli indizi visivi selezionati, senza ulteriori input visivi né chiamate esplicite a strumenti. Utilizziamo inoltre l’apprendimento per rinforzo per guidare il VLM a individuare regioni informative dell’immagine e a sfruttarle durante il ragionamento. Per consentire una valutazione dettagliata del ragionamento multimodale, presentiamo COCO-ObjQA, un benchmark su larga scala per il ragionamento multimodale incentrato sugli oggetti. Gli esperimenti su tre impegnativi benchmark multimodali mostrano che LoRe migliora sistematicamente le prestazioni di ragionamento dei VLM con un modesto sovraccarico aggiuntivo in fase di inferenza.