Holi-World: costruire un’intelligenza olistica del mondo a partire dall’esperienza umana in prima persona

Abstract degli autori

L’esperienza umana in prima persona offre una ricca base per apprendere come è organizzato il mondo e come cambia attraverso l’interazione. Per sfruttare questo potenziale su larga scala occorre trasformare quantità crescenti di registrazioni in risorse per l’apprendimento che colleghino la struttura delle scene, le caratteristiche degli oggetti e le storie delle interazioni tra diversi punti di vista e nel tempo, riducendo al contempo la dipendenza da costose annotazioni manuali. Presentiamo HOLI-WORLD, un ecosistema integrato che collega l’acquisizione delle esperienze, la rappresentazione del mondo, la costruzione automatizzata dei dati, l’addestramento dei modelli e la valutazione indipendente. Per sostenere l’apprendimento su larga scala, HOLIWORLD-Foundry combina approcci complementari di percezione statica e dinamica per costruire automaticamente rappresentazioni del mondo che collegano la struttura persistente delle scene e gli stati mutevoli degli oggetti alle storie delle interazioni e alle osservazioni a supporto. HOLIWORLD-Data organizza queste rappresentazioni, ricavate da circa 100 scene raccolte direttamente, in risorse per l’apprendimento ancorate ai dati, tra cui circa 80K coppie di domande e risposte usate per addestrare HOLIWORLD-VL-4B. Annotazioni umane indipendenti di registrazioni escluse dall’addestramento costituiscono HOLIWORLD-Bench, che permette di valutare sia la qualità delle annotazioni sia la comprensione spaziale e temporale appresa. Esperimenti su ScanNet, ScanNet++, Aria Digital Twin e HOLIWORLD-Bench mostrano prestazioni elevate nella percezione statica e nel tracciamento dinamico, mentre l’addestramento su HOLIWORLD-Data migliora notevolmente le capacità di ragionamento spaziale e temporale di HOLIWORLD-VL-4B su HOLI- WORLD-Bench ed EgoDynamic4D. HOLIWORLD offre una base pratica per ampliare le risorse di apprendimento a partire dal flusso continuo dell’esperienza umana e far progredire la comprensione del mondo dinamico da parte delle macchine.