EgoVoice: assistenza vocale proattiva a partire da flussi multimodali egocentrici

Abstract degli autori

Gli assistenti indossabili di realtà aumentata (AR) si stanno orientando verso un’interazione continua con il mondo reale: percepiscono l’attività dell’utente attraverso video e audio in prima persona e forniscono indicazioni vocali al momento opportuno, senza che l’utente debba chiederle esplicitamente. Sebbene gli assistenti video proattivi, i sistemi di dialogo vocale e i sistemi di comprensione delle attività in prima persona abbiano compiuto rapidi progressi, i sistemi esistenti non affrontano il problema congiunto di decidere quando parlare e che cosa dire sulla base di flussi continui in prima persona. Presentiamo EgoVoice, un framework per addestrare e valutare assistenti vocali proattivi basati su una prospettiva egocentrica. A partire dalle registrazioni video di istruttori umani reali contenute in HoloAssist, produciamo flussi audio puliti mediante separazione delle sorgenti e risintesi del parlato, e convertiamo ogni sessione video in un formato in cui il modello deve decidere, momento per momento, se restare in silenzio o fornire indicazioni vocali. Eseguiamo il fine-tuning di un LLM omnimodale con i nostri dati e ne miglioriamo ulteriormente la capacità di intervenire in modo proattivo mediante l’ottimizzazione diretta delle preferenze. Esperimenti condotti su modelli chiusi e open source mostrano che i sistemi esistenti producono raramente interventi proattivi pertinenti e al momento giusto, mentre EgoVoice migliora nettamente, rispetto al backbone zero-shot, la scelta del momento in cui intervenire, la pertinenza dei contenuti e le preferenze umane.