Mentre la storia si dipana: guardare un film e riconoscere i personaggi come farebbe un essere umano

Abstract degli autori

Nei film, i personaggi vengono introdotti gradualmente con il procedere della storia. Studiamo il problema di identificare i personaggi principali e attribuire loro un nome direttamente dal film, senza usare elenchi esterni del cast, fotografie degli attori o archivi di personaggi già pronti. Introduciamo il compito di attribuire i nomi ai personaggi: dato un nome menzionato nei dialoghi e il relativo contesto video, il modello deve stabilire quale personaggio visibile porti quel nome. È un compito difficile perché l’associazione tra nome e personaggio dipende spesso da indizi cinematografici come la struttura campo-controcampo, le presentazioni di sé, il rivolgersi direttamente a qualcuno, i riferimenti da parte di terzi, gli sguardi e la continuità temporale. Forniamo un dataset e annotazioni per valutare l’attribuzione dei nomi e le prime apparizioni dei personaggi, sviluppiamo un modello basato su video e dialoghi per questo compito e lo confrontiamo con modelli linguistici multimodali di grandi dimensioni proprietari. Introduciamo inoltre un metodo progressivo per costruire un archivio dei personaggi man mano che il film procede. Nel loro insieme, questi contributi favoriscono una comprensione online dei film simile a quella umana, in cui le identità dei personaggi vengono dedotte dal film stesso.