EgoTools: verso un ragionamento incentrato sugli strumenti nei video egocentrici del mondo reale

Abstract degli autori

I compiti svolti nel mondo reale, dalle attività quotidiane alle procedure professionali, richiedono agli agenti di agire entro vincoli fisici, tenendo traccia dell’evoluzione dello stato degli oggetti e dei compiti. L’uso degli strumenti è centrale in questi compiti, perché molte attività quotidiane e professionali sono mediate da strumenti. Comprenderle richiede di ragionare sulle affordance, sulla geometria delle relazioni mano-strumento-oggetto, sull’avanzamento delle procedure e sugli effetti causali sugli oggetti bersaglio. Eppure, nonostante le buone prestazioni nei compiti di analisi video orientati alla percezione, come la generazione di didascalie e la risposta a domande generali sui video, gli attuali modelli video multimodali restano limitati in questa forma di ragionamento sull’uso degli strumenti in contesti fisici. I progressi in questa direzione sono stati frenati dalla scarsità di dati egocentrici del mondo reale e di benchmark diagnostici. Per colmare questa lacuna, presentiamo EgoTools, la prima suite completa per la comprensione dell’uso degli strumenti nei video egocentrici. Comprende due componenti complementari: EgoTools-Data, un corpus su larga scala di 100 ore di registrazioni egocentriche incentrate sull’uso degli strumenti, con audio sincronizzato, didascalie dettagliate, narrazioni ricche di ragionamenti e informazioni 3D supplementari; ed EgoTools-Bench, un benchmark diagnostico di 1.000 coppie di domande e risposte suddivise in quattro filoni, che coprono la comprensione dell’uso degli strumenti dalla percezione e dalla geometria fino alle procedure e al ragionamento causale. I risultati sperimentali mostrano che gli attuali modelli faticano ancora ad ancorare l’uso degli strumenti alle evidenze visive: Gemini-3.1-Pro raggiunge un’accuratezza complessiva del 66,9%, ma solo del 51,7% in Perception & Grounding. Oltre che per la valutazione, convalidiamo EgoTools-Data come risorsa per l’addestramento. Sul benchmark completo di 1.000 domande, il fine-tuning supervisionato completo porta Qwen3-VL-8B-Instruct dal 50,0% al 60,9%, mantenendo una rigorosa separazione tra i video di origine. Nel loro insieme, questi risultati fanno di EgoTools una risorsa unificata sia per l’addestramento sia per la valutazione diagnostica della comprensione dell’uso degli strumenti nei video egocentrici del mondo reale.