OpenVLHarness: uso agentico di strumenti visivi nel mondo reale con memoria multimodale

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno compiuto rapidi progressi nel ragionamento visivo, ma molte attività richiedono evidenze difficili da ottenere con il solo ragionamento interno: il nostro studio controllato su 22 benchmark mostra che aumentare semplicemente il budget di inferenza del modello di base produce miglioramenti modesti. Queste attività richiedono percezione ancorata ai dati, conoscenze esterne e misurazioni numeriche ottenute tramite strumenti eterogenei, i cui risultati devono essere resi interpretabili dal modello e conservati da una fase di ragionamento all’altra. Presentiamo OpenVLHarness, un sistema per il ragionamento multimodale organizzato attorno a un livello di funzionalità e a una memoria multimodale persistente. Il livello di funzionalità combina interfacce per gli strumenti a livello di attività con la rappresentazione delle evidenze, offrendo un accesso uniforme a backend eterogenei e convertendo i loro risultati in osservazioni leggibili dal modello. La memoria multimodale persistente conserva le immagini, i dati strutturati e i riferimenti web corrispondenti come artefatti indirizzabili per tutta la durata di ogni richiesta. Un’interfaccia di programmazione esegue programmi generati sui dati memorizzati, consentendo calcoli che combinano i risultati di più strumenti. Insieme, questi meccanismi sostengono un processo iterativo di acquisizione, esame e combinazione di evidenze multimodali. Valutato su 22 benchmark con otto backbone aperti e proprietari, OpenVLHarness aumenta i punteggi medi di 9,7-12,6 punti rispetto alle baseline corrispondenti senza strumenti, con miglioramenti di +11,2 punti con Qwen3-VL-8B, +9,7 con Kimi K3 e +9,9 con GPT-6 Astra. Con GPT-6 Luna a un livello medio di impegno nel ragionamento, OpenVLHarness supera il modello di base, Codex e Visual Sketchpad al massimo livello di impegno di 7,7-8,5 punti, con un costo in token del modello pari al massimo al 37% del loro.