The Pulse
Meta pubblica InteractiveWorld, un benchmark di 120 compiti per l’IA indossabile
Il progetto InteractiveWorld di Meta abbina un simulatore 3D in prima persona a InteractiveBench, un test di 120 compiti per assistenti IA conversazionali. I punteggi verificano gli stati del mondo simulato, mentre i requisiti hardware e le
AI.info Team · Scritto con l’IA · verificato ·
Il benchmark di InteractiveWorld comprende 120 compiti articolati in più turni, ciascuno valutato in base a ciò che è accaduto in un mondo 3D simulato, anziché alla risposta scritta di un assistente IA. Il gruppo Facebook Research di Meta ha pubblicato il sistema come progetto open source per valutare assistenti che vedono attraverso gli occhi di chi li indossa e guidano una persona nello svolgimento di compiti nel mondo reale.
Il progetto pubblicato combina InteractiveWorld, un simulatore, con InteractiveBench, la sua raccolta di compiti. L’assistente riceve immagini in prima persona e una conversazione; una persona simulata distinta risponde alle sue indicazioni agendo nell’ambiente. «Gli obiettivi vengono verificati rispetto allo stato del mondo, non giudicati in base al testo», si legge nel README del progetto. Progetto InteractiveWorld
Sei modi per mettere alla prova un assistente
InteractiveBench suddivide equamente i suoi 120 compiti in sei categorie: Guidance, Planning, Accessibility, Decision, Prevention e Finding. Gli scenari chiedono a un assistente di guidare qualcuno nell’esecuzione di una ricetta, pianificare tenendo conto di limiti di tempo e risorse, descrivere una scena a un utente non vedente, compiere una scelta sulla base di elementi visivi e della conoscenza del mondo, avvertire prima che venga commesso un errore o ricordare dove è stato lasciato un oggetto.
Ogni compito inizia con una scena simulata e può includere una breve cronologia di ciò che la persona ha fatto prima di chiedere aiuto. L’assistente vede immagini in prima persona e il dialogo, poi risponde parlando, restando in silenzio o dichiarando che il compito è completo. La persona simulata risponde con parole e azioni; il simulatore riproduce la scena modificata e l’episodio termina quando l’assistente o la persona concludono, oppure quando si esaurisce il numero di turni disponibili.
Questa impostazione mette alla prova l’interazione e la capacità di non intervenire, non soltanto il riconoscimento delle immagini. I compiti della categoria Prevention, per esempio, verificano se l’assistente avverte al momento giusto senza interrompere inutilmente. Nei compiti della categoria Accessibility, le immagini non sono disponibili alla persona simulata, perciò l’assistente deve comunicarle ciò che vede.
Riuscire significa cambiare il mondo simulato
Il repository fornisce due tipi di punteggio. Un punteggio nativo verifica se gli obiettivi del compito risultano raggiunti nello stato finale del mondo e indica la quota di obiettivi soddisfatti. Il punteggio ufficiale del benchmark pubblicato usa criteri specifici per ciascun compito che devono essere valutati esaminando elementi come trascrizioni e video; la documentazione elenca 464 criteri distribuiti su sei protocolli. Le esecuzioni possono salvare il dialogo, le azioni, i punteggi e il video in prima persona.
Secondo la documentazione, nella configurazione descritta nell’articolo il progetto usa Gemini 3.1 Pro come persona simulata fissa per ogni assistente, una scelta pensata per rendere i confronti più coerenti. Gli sviluppatori possono anche collegare assistenti e modelli della persona tramite servizi ospitati o endpoint locali compatibili, inclusi server come vLLM e Ollama. Mantenere fisso il modello della persona è importante: un risultato del benchmark misura un assistente abbinato a quel modello e alle regole del simulatore, non un dispositivo che opera con una persona imprevedibile.
Meta non riporta nel repository né una classifica dei modelli né risultati comparativi. Il progetto pubblicato offre un modo per svolgere le valutazioni, ma i materiali pubblicati non dimostrano che un particolare assistente svolga bene i compiti.
Per i ricercatori, una configurazione impegnativa
Per eseguire il simulatore servono Linux, una GPU NVIDIA e circa 100 GB di spazio su disco. Meta afferma di averlo testato su una A100 con 80 GB di memoria; un processo del simulatore usa circa 4 GB di memoria GPU. La guida al benchmark stima da cinque a 20 minuti per compito, a seconda della sua durata e della latenza del modello: eseguire tutti i 120 compiti comporta quindi un costo significativo in termini di risorse di calcolo e tempo.
Alcune risorse richiedono inoltre download e registrazioni separati. Il progetto usa Isaac Sim, OmniGibson, scene di BEHAVIOR-1K, un modello del corpo umano e dati sui movimenti di camminata; secondo il README, i file del modello corporeo e dei movimenti non possono essere ridistribuiti. Il repository è distribuito con licenza CC BY-NC 4.0, mentre i componenti esterni restano soggetti alle condizioni separate dei rispettivi proprietari.
Queste condizioni fanno di InteractiveWorld un ambiente di prova per la ricerca, più che una valutazione pronta all’uso per ogni team di prodotto. Le sue scene coprono 44 abitazioni e luoghi di BEHAVIOR-1K e la persona simulata segue le indicazioni generate dal modello attraverso azioni prestabilite. Resta da capire se i risultati ottenuti in quelle scene al chiuso permettano di prevedere le prestazioni di un assistente indossabile con persone reali, riprese imperfette della fotocamera e ambienti che cambiano.
Che cosa può dimostrare un punteggio sufficiente, e che cosa no
InteractiveWorld permette di esaminare l’esito di un compito simulato: la persona ha messo l’oggetto giusto nel posto giusto, completato l’azione richiesta o evitato un errore definito? È una verifica più concreta che giudicare un assistente soltanto dalla fluidità della sua risposta, ma resta una misura del successo all’interno di un simulatore con un modello della persona fisso.
La prossima prova per il benchmark sarà verificare se team indipendenti riusciranno a riprodurne i punteggi e se questi corrisponderanno alle prestazioni al di fuori dei suoi 44 ambienti simulati. Fino ad allora, un’esecuzione riuscita mostra che un assistente sa completare gli scenari definiti dal benchmark, non che sappia guidare in modo affidabile una persona che indossa occhiali nello svolgimento dello stesso compito a casa.