PROVIA: tracciamento dello stato delle procedure per rilevare online gli errori nei video egocentrici

Abstract degli autori

Un assistente che osserva video egocentrici dovrebbe accorgersi di un errore basandosi solo sui fotogrammi precedenti, prima che inizi il passaggio successivo, e continuare a lavorare una volta che la persona si è ripresa. Un errore modifica lo stato del lavoro, quindi ogni passaggio successivo va interpretato alla luce di ciò che è stato fatto, non del piano. Il protocollo del primo errore su cui riferiscono gli attuali metodi online interrompe ogni registrazione al primo errore: di conseguenza, una regola basata su un tempo fisso e che non esamina mai il video indovina in tutti i casi. Valutiamo il sistema su prove complete, in cui errori e riprese avvengono in modo naturale, rispettando un limite di falsi allarmi stabilito in fase di validazione e confrontandolo con controlli basati solo sulla tempistica. PROVIA tiene distinti due registri: uno stato fattuale, ossia una sintesi appresa dei passaggi eseguiti da ciascun attore, errori inclusi, e i progressi accettati, ossia una distribuzione a posteriori esatta sullo stato di un automa, indotto da dimostrazioni corrette mediante fusione bayesiana degli stati, e sullo stato di esecuzione di ciascun attore. Le transizioni dello stato della procedura si verificano solo nel ramo dello stato corretto; i rami dell’errore e della correzione mantengono lo stato di partenza. Un test sequenziale trasforma la probabilità di errore per fotogramma in allarmi. Con un unico filtro e un’unica regola di ottimizzazione, tra le baseline controllate valutate PROVIA ottiene i risultati migliori nell’ordinamento degli errori su CaptainCook4D, IndustReal, HoloAssist e IMPACT-ego. Con un limite di validazione di 0,1 falsi allarmi al minuto, rileva lo 0,154 degli errori, contro lo 0,128 su CaptainCook4D, e lo 0,034 contro lo 0,015 su HoloAssist, dove è in testa a ogni livello di budget. La pipeline funziona a 58-70 fotogrammi al secondo. Il codice sorgente è disponibile all’indirizzo https://github.com/Kratos-Wen/PROVIA.