Interactive Visual Gym: valutazione dei modelli di interazione visiva con utenti simulati in mondi interattivi

Abstract degli autori

I modelli di interazione visiva che assistono gli utenti durante attività fisiche in corso richiedono una valutazione a ciclo chiuso, in cui le risposte dell’assistente possono modificare il comportamento successivo dell’utente e l’esito delle attività. I benchmark esistenti si basano in gran parte sulla riproduzione offline e, di conseguenza, non riescono a cogliere questi effetti. Presentiamo Interactive Visual Gym, un framework per la valutazione e l’addestramento a ciclo chiuso dei modelli di interazione visiva, basato sulla simulazione congiunta di ambienti operativi eseguibili e utenti umani. Presentiamo tre simulatori che ricreano attività quotidiane e spazi d’azione in linea con quelli umani, nei domini della cucina, della manipolazione di oggetti domestici e delle interfacce mobili, insieme a un sistema di simulazione degli utenti condizionato dalla persona, che collabora con l’assistente e incorpora errori di esecuzione controllati e altri comportamenti non previsti dal piano. Implementiamo il framework in IVG-Bench, un benchmark con 315 scenari di interazione. La valutazione dei modelli VLM all’avanguardia come modelli di interazione visiva rivela notevoli limiti: il modello con le prestazioni migliori, Gemini 4 Argon, completa solo il 53,4% delle attività entro il limite di tempo, presenta significative debolezze nell’ancoraggio fattuale e nel fornire indicazioni attuabili, e spesso è troppo lento per prevenire gli errori se si tiene conto della latenza delle risposte. Verifichiamo il nostro protocollo di valutazione con uno studio condotto su persone, che rileva una concordanza del 78,5% tra la nostra metrica della qualità dell’interazione e le preferenze dei partecipanti. Mostriamo inoltre che gli ambienti forniscono segnali di apprendimento utili: in un esperimento GRPO proof-of-concept, l’addestramento a ciclo chiuso migliora sia il successo nelle attività sia la qualità dell’interazione per il modello Qwen3.5-4B nel nostro ambiente di cucina.