The Pulse
Ant Group pubblica LBS-27B, un modello di visione addestrato su interfacce grafiche
Il 26 ottobre inclusionAI di Ant Group ha pubblicato LBS-27B, un modello visivo-linguistico adattato con dati sintetici di grounding delle interfacce grafiche. Il team riporta risultati su cinque benchmark visivi e pubblica i pesi con licen
AI.info Team · Scritto con l’IA · verificato ·
89,13% su HR-Bench 4K
Secondo inclusionAI di Ant Group, il suo modello LBS-27B ha ottenuto l’89,13% su HR-Bench 4K, un benchmark che misura la capacità di rispondere a domande su immagini ad alta risoluzione. Il modello, pubblicato il 26 ottobre, ha ottenuto anche l’87,75% su HR-Bench 8K e l’81,15% su ScreenSpot-Pro, che misura l’accuratezza nell’individuare gli elementi di un’interfaccia. I suoi pesi e il software del progetto sono pubblicati con licenza Apache 2.0.
LBS-27B si basa su Qwen3.8-27b ed è progettato per esaminare le immagini selezionando regioni, ingrandendole e tornando su ritagli precedenti. inclusionAI descrive l’approccio come il trasferimento alla risposta a domande visive generali di una politica di osservazione visiva appresa tramite il grounding delle interfacce grafiche (GUI). L’affermazione sull’addestramento riguarda i dati usati per questo adattamento; la scheda del modello non dice che il modello di base Qwen sia stato addestrato soltanto su dati relativi alle GUI.
«Impara a selezionare ed esaminare regioni delle immagini tramite il grounding delle GUI, poi trasferisce questa politica di osservazione alla risposta a domande visive di ambito generale e alla percezione ad alta risoluzione.»
inclusionAI, scheda del modello LBS-27B
L’addestramento si limita a dati sintetici delle GUI
Il team afferma di aver usato circa 10.000 esempi di fine-tuning supervisionato per una fase iniziale, seguiti da 80 passaggi di addestramento con Group Relative Policy Optimization, o GRPO. Ogni passaggio prevedeva un batch di 64 e otto rollout per prompt. Secondo la scheda del modello, queste fasi di addestramento hanno usato dati sintetici di grounding delle GUI, senza dati di ambito generale né esempi di risposta a domande visive.
Durante l’uso, LBS può richiedere fino a due ritagli distinti in un turno, con un limite di tre richieste di ritaglio per episodio. Può perfezionare un ritaglio o tornare all’immagine originale: un approccio pensato per aiutarlo a individuare piccoli elementi di un’interfaccia e a esaminare i dettagli nelle immagini ad alta risoluzione. Il checkpoint pubblicato può essere distribuito per l’utilizzo con una configurazione vLLM compatibile; l’esempio di inclusionAI usa quattro dispositivi.
I punteggi hanno limiti di comparabilità
I risultati riguardano cinque valutazioni: ScreenSpot-Pro, OS-World-G (Refine), PerceptionBench e HR-Bench nelle versioni 4K e 8K. Su OS-World-G, l’accuratezza delle azioni riportata, pari all’84,57%, include i casi di rifiuto. L’accuratezza del giudice del 59,67% su PerceptionBench deriva da 3.000 record valutati da un giudice Deepseekv4-flash-0731 ospitato autonomamente.
Come precisano le note di pubblicazione, questi dati non costituiscono un confronto diretto e controllato con altri modelli. I risultati di riferimento usano configurazioni di inferenza diverse e i confronti su PerceptionBench impiegano un giudice diverso, GPT-oss-120B; anche valutazioni ripetute possono variare. La tabella dei punteggi riporta dunque i risultati dichiarati da inclusionAI, non la prova che LBS-27B superi un concorrente specifico a parità di condizioni.
Le coordinate da sole non controllano un’applicazione
LBS restituisce richieste di ritaglio in testo semplice e coordinate normalizzate per gli elementi di un’interfaccia. Un client deve eseguire le richieste di ritaglio, restituire le immagini e le corrispondenze delle coordinate e, se l’obiettivo è controllare un’applicazione in tempo reale, inviare l’azione risultante a un esecutore separato. Il modello individua un elemento; non è il modello stesso a fare clic nell’applicazione.
I pesi sono scaricabili, ma i dataset e gli screenshot di terzi restano soggetti alle rispettive licenze e condizioni originali. La prova concreta sarà verificare se la politica di osservazione appresa sulle GUI si trasferisce in modo affidabile alle domande visive al di fuori delle interfacce, quando team indipendenti la valuteranno con benchmark e protocolli di attribuzione dei punteggi allineati.