Rapporto tecnico su Xiaomi-Lens-0

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) rispondono bene alle domande sulle immagini nel loro complesso, ma faticano ancora a comprendere le singole regioni nel dettaglio. Una ragione fondamentale è che la supervisione basata solo sul testo non specifica mai quali regioni sostengano una risposta. Per colmare questa lacuna, presentiamo Xiaomi-Lens-0, un MLLM da 4B basato su Qwen3.5 che predice le maschere a partire dalle proprie rappresentazioni visive. In particolare, un decoder leggero combina le caratteristiche delle patch dell’encoder visivo con i latenti visivi, ossia gli stati dei token di maschera del modello linguistico, così che la supervisione delle maschere raggiunga il backbone condiviso senza un ulteriore encoder per la segmentazione. Poiché ogni latente viene decodificato in una maschera, il modello può alternare il ragionamento a latenti specifici per ciascuna regione e quindi pensare con i latenti visivi, mentre le tracce di ragionamento ancorate alle regioni forniscono supervisione sulle regioni che il modello esamina durante la catena di pensiero. Di conseguenza, considerando tutte e otto le suddivisioni di RefCOCO, RefCOCO+ e RefCOCOg, Xiaomi-Lens-0 supera Qwen3.5 di 5,6 punti in media nella comprensione delle espressioni referenziali e ottiene il cIoU di segmentazione più alto tra i modelli confrontati. Inoltre, supera Qwen3.5 in tutti i benchmark di percezione. Pagina principale: \href{https://seerray-lab.github.io/Xiaomi-Lens-0}{this https URL}