The Pulse
Tencent rilascia WeVisOne-VL nelle versioni da 2B e 4B
Il team WeChat Vision di Tencent ha rilasciato WeVisOne-VL, un modello visivo-linguistico che combina rilevamento degli oggetti, OCR, segmentazione e scontorno delle immagini. Gli autori riportano un punteggio di differenza assoluta media d
AI.info Team · Scritto con l’IA · verificato ·
WeVisOne-VL-4B ottiene un punteggio di 9,8 in un test di scontorno delle immagini basato su descrizioni testuali, mentre un modello più grande, Qwen3.5-9B, abbinato a SAM2-Matting ottiene 22,4, secondo i risultati pubblicati dal team WeChat Vision di Tencent. Nella metrica della differenza assoluta media usata dal benchmark, che misura quanto una maschera di trasparenza prevista si discosta da quella di riferimento, i punteggi più bassi sono migliori. In questo test, i ritagli dai contorni fini prodotti da un modello da 4B parametri superano quelli della pipeline più grande composta da più modelli, ma ciò non vale necessariamente per ogni attività di scontorno delle immagini.
Tencent ha rilasciato WeVisOne-VL nelle versioni da 2B e 4B, insieme ai pesi del modello, a un pacchetto per l’inferenza, al codice di valutazione e a una demo ospitata online. Il progetto combina rilevamento degli oggetti, localizzazione basata su descrizioni testuali, conteggio, indicazione di punti e OCR con segmentazione e scontorno alpha, consentendo agli utenti di chiedere sia un riquadro attorno a un oggetto sia un ritaglio a livello di pixel.
Da un riquadro a una maschera precisa fino ai capelli
Il rapporto tecnico, presentato ad arXiv il 22 ottobre, descrive WeVisOne-VL come un modello basato su Qwen3-VL. Gli autori aggiungono al modello visivo-linguistico un decoder di pixel da 9,6 milioni di parametri, che usa le caratteristiche delle immagini ricavate dal modello e uno speciale token <OBJ> per generare maschere e maschere alpha continue. Il decoder è un componente del sistema, non rappresenta la dimensione del modello completo.
Per lo scontorno, gli utenti possono identificare un oggetto bersaglio con un riquadro, il nome di una categoria o una descrizione in linguaggio naturale. Una maschera binaria indica se ciascun pixel si trova all’interno o all’esterno di un oggetto. Una maschera alpha può rappresentare pixel parzialmente trasparenti, contribuendo a preservare strutture fini come capelli o pelo e contorni traslucidi. Il modello usa anche token dedicati alle coordinate per produrre punti e riquadri e può restituire «None» quando l’oggetto richiesto è assente.
Spicca il risultato nello scontorno basato su descrizioni testuali
Nel test WeRefMat di Tencent, in cui gli oggetti bersaglio sono specificati tramite il linguaggio, WeVisOne-VL-4B registra una differenza assoluta media di 9,8, contro 22,4 per Qwen3.5-9B seguito da SAM2-Matting. Nello stesso confronto, la versione 2B ottiene 15,8. Il rapporto valuta anche lo scontorno richiesto tramite riquadri su dataset pubblici: su P3M-500-NP, WeVisOne-VL-2B registra 6,6 e la versione 4B 7,3, contro 15,4 per la variante SAM3 di SAM2-Matting sottoposta al test.
Questi numeri non stabiliscono una classifica valida in ogni caso. Il rapporto precisa che, sui tre dataset pubblici in cui lo scontorno è richiesto tramite riquadri, tutti i metodi ricevono lo stesso riquadro di riferimento, mentre il confronto basato su descrizioni testuali usa WeRefMat, un benchmark di Tencent. I ricercatori riportano la differenza assoluta media moltiplicata per 1.000, con valori più bassi migliori; confrontare prompt o dataset diversi non sarebbe un confronto a parità di condizioni.
Un’unica interfaccia, diverse attività di percezione
Il rilascio va oltre i ritagli. Su LVIS, un benchmark per il rilevamento di oggetti con una distribuzione a coda lunga, il team riporta punteggi F1 medi di 53,3 per WeVisOne-VL-2B e 55,3 per il modello 4B, contro 50,7 per LocateAnything-3B. Su Dense200, che verifica il rilevamento in scene affollate, i punteggi corrispondenti sono 61,4 e 71,3, contro 58,7 per quel modello di confronto. Il rapporto definisce l’F1 medio come la media calcolata su soglie di intersection-over-union da 0,5 a 0,95.
Il formato condiviso di WeVisOne-VL tratta le attività come output testuali strutturati. Il modello può restituire etichette degli oggetti e coordinate, quindi associare un risultato a livello di pixel a un’istanza localizzata tramite il token <OBJ>. Tencent afferma che il modello è stato addestrato con tre fasi di fine-tuning supervisionato seguite da apprendimento per rinforzo su attività miste, usando un sistema di gestione dei dati costruito attorno a circa 100 milioni di immagini.
Il paper indica i limiti nell’uso generale
«In primo luogo, la quantità limitata di dati di addestramento per uso generale potrebbe compromettere le capacità generali rispetto al modello di base», scrivono gli autori nella sezione dedicata ai limiti. Descrivono inoltre il sistema attuale come limitato a un singolo turno e affermano che l’omissione del ragionamento chain-of-thought per rendere più efficiente l’inferenza potrebbe limitare il ragionamento complesso. Prompt chiari nei benchmark potrebbero non rispecchiare le istruzioni vaghe o esitanti degli utenti reali.
Tencent afferma che il codice sviluppato dai suoi autori è rilasciato con licenza Apache 2.0, mentre i componenti di terze parti mantengono le proprie licenze. Il rilascio è destinato alla ricerca sulla localizzazione visiva, sull’OCR, sulla segmentazione e sullo scontorno; la scheda del modello precisa che non è destinato a identificare persone né a prendere autonomamente decisioni ad alto impatto.