CIViC: verifiche delle evidenze per la previsione visiva condizionata dall’audio in compiti proxy

Abstract degli autori

Rimuovere l’audio può modificare l’output di un modello di previsione visiva, ma non dimostra che il compito utilizzi le informazioni audio previste. Presentiamo Conditional Input and Visual Interpretation Checks (CIViC), un protocollo in quattro verifiche che collega ogni interpretazione a un intervento, a un confronto su compiti esclusi dall’addestramento o a un controllo dell’endpoint. Applichiamo CIViC a test su raster di volti con attori distinti, a una miscela sintetica di caratteristiche audio e a compiti proxy di SpeakerVid con video sorgente distinti. Nel test statico sui raster di volti, la sostituzione dell’audio tra attori soddisfa la regola di rilevamento registrata, ma con un effetto piccolo; su un endpoint temporale distinto, i modelli addestrati con audio costante ottengono risultati migliori di quelli addestrati con audio in quattro seed abbinati. Nella miscela sintetica, il modello addestrato con condizioni aggiuntive ha un RMSE a 1.000 passi più alto di quello addestrato solo con audio (0,1807 contro 0,1707), con un divario che si riduce durante l’addestramento. Nel compito proxy di SpeakerVid, il modello con cinque caratteristiche azzerate (cinque statistiche audio di basso livello azzerate; input relativi a identità, dialogo e condizione mantenuti) ha un RMSE in scala di grigi sull’intero fotogramma inferiore a quello ottenuto con l’audio allineato in quattro condizioni escluse dall’addestramento e cinque seed abbinati, mentre l’audio allineato presenta un errore di deriva dei segmenti inferiore. I risultati mostrano che l’attivazione dell’output, l’errore sui dati esclusi dall’addestramento e i controlli dell’endpoint sostengono interpretazioni diverse in questi compiti proxy.