Riutilizzare le rappresentazioni latenti del parlato per localizzare gli argomenti nei transcript in base alla query

Abstract degli autori

Le trascrizioni lunghe sono input costosi per i sistemi NLP a valle e spesso contengono contesto irrilevante. Studiamo la localizzazione degli argomenti condizionata dalla query: prevedere l’intervallo di frasi di una trascrizione che risponde meglio a una query basata sul titolo di un argomento. Per migliorare la localizzazione degli intervalli, riutilizziamo gli stati dell’encoder ASR come rappresentazioni a livello di frase e li fondiamo con embedding testuali. Questo permette a modelli leggeri di individuazione degli intervalli di sfruttare le informazioni del parlato senza eseguire un encoder audio separato. Gli esperimenti su due dataset pubblici mostrano miglioramenti costanti rispetto ai baseline basati solo sul testo, soprattutto in presenza di criteri rigorosi di corrispondenza dei confini. Gli esperimenti tra dataset indicano inoltre che i benefici sono maggiori con il parlato strutturato o semistrutturato, mentre i miglioramenti sul parlato spontaneo sono limitati e contrastanti.