InteractiveWorld: un ambiente verificabile incentrato sulle persone per sviluppare assistenti MLLM interattivi migliori

Abstract degli autori

Da tempo le persone sognano un assistente sempre presente, capace di guidarle e di ricordare loro ciò che dimenticano, dai nuovi piatti alle chiavi smarrite. Grazie ai modelli linguistici multimodali di grandi dimensioni (MLLM), gli assistenti di IA egocentrici sui dispositivi indossabili stanno rendendo questo sogno più vicino: vedono ciò che vede l’utente e, quando necessario, gli danno istruzioni per svolgere attività nel mondo fisico. Valutare un’assistenza di questo tipo, però, è difficile e di solito richiede il coinvolgimento di persone reali. I dati sulle interazioni reali, scarsi e costosi, lasciano senza risposta una domanda fondamentale: gli MLLM di oggi possono davvero aiutare le persone nel mondo fisico? Per rispondere, proponiamo InteractiveWorld, il primo ambiente verificabile per l’interazione a ciclo chiuso tra un essere umano e un assistente di IA. A differenza dei simulatori esistenti, incentrati sui robot, InteractiveWorld permette all’assistente di guidare un agente umano che osserva la scena, comprende le istruzioni e agisce autonomamente. Simula così in modo realistico la collaborazione tra l’assistente di IA e l’essere umano: l’assistente dà istruzioni, l’essere umano agisce e l’ambiente esegue le azioni e aggiorna ciò che l’essere umano vedrà in seguito. Su questa base, presentiamo InteractiveBench, il primo benchmark dinamico per assistenti di IA egocentrici, con 120 compiti articolati su più turni in sei categorie. In ogni compito, l’assistente guida l’essere umano in tempo reale e ogni istruzione influisce sull’esito, valutato mediante ricompense verificabili basate sullo stato. Gli esperimenti condotti con 12 MLLM all’avanguardia mostrano che sono ancora lontani dall’essere assistenti affidabili. Anche il modello più efficace, Claude Fable 5.1, raggiunge al massimo il 20% nei compiti di guida e il 25% in quelli di pianificazione su un orizzonte lungo. Nel complesso, il nostro lavoro offre una piattaforma verificabile e un insieme di prove per una valutazione rigorosa, ponendo solide basi per la ricerca su assistenti MLLM interattivi che aiutino davvero le persone nel mondo fisico.