WeVisOne-VL: percezione visiva unificata dagli oggetti ai pixel

Abstract degli autori

I modelli visione-linguaggio (VLM) esistenti restano inaffidabili nella percezione visiva dei dettagli. In questo rapporto presentiamo WeVisOne-VL (WeChat Vision All-in-One), un potente VLM che unifica la percezione a livello di oggetto e di pixel attraverso la predizione strutturata del token successivo. Supporta diversi compiti visivi, tra cui il rilevamento di oggetti, la localizzazione di oggetti indicati, il conteggio, l’OCR, la segmentazione e il matting. Consente così di localizzare gli elementi con qualsiasi livello di granularità specificato dall’utente, dai punti e dai riquadri fino alle maschere e alle mappe di trasparenza alfa. Sul piano architetturale, integriamo nel VLM un decoder di pixel leggero tramite uno speciale token <OBJ> per generare output a livello di pixel per le singole istanze. Addestriamo il modello con un percorso SFT in tre fasi, seguito da RL su compiti misti. In oltre 30 benchmark, WeVisOne-VL mostra prestazioni ai vertici sia nei compiti a livello di oggetto sia in quelli a livello di pixel, mantenendo una solida capacità di rifiutare le richieste relative a oggetti assenti. Rendendo WeVisOne-VL disponibile alla comunità open source, speriamo di far progredire i VLM dalla comprensione visiva generale verso sistemi di percezione davvero affidabili, da impiegare nel mondo reale.