VEDJE: codificatore congiunto discriminativo efficiente per la ricerca scalabile di corrispondenze tra video e testi

Abstract degli autori

Trovare il video giusto richiede spesso di distinguere scene simili in cui si verificano eventi diversi. L’abbinamento congiunto migliora la ricerca, ma elaborare rappresentazioni video dettagliate per ogni query è costoso. VEDJE comprime le caratteristiche all’interno dei fotogrammi campionati, mantenendone separate le rappresentazioni in una cache riutilizzabile. La previsione delle variazioni delle caratteristiche fornisce un segnale ausiliario per l’addestramento che migliora la ricerca nella cache compressa senza aggiungere lavoro al momento della query. Su MSR-VTT, MSVD, DiDeMo e ActivityNet, VEDJE migliora l’R@1 rispetto ai sistemi di ricerca di primo stadio corrispondenti in entrambe le direzioni di ricerca. Su MSR-VTT raggiunge un R@1 testo-video di 59,8 con un primo stadio VideoCLIP-XL sottoposto a fine-tuning. Nella configurazione VideoPrism, ridurre a un quarto la cache per video, portandola a 12 KiB, mantiene il richiamo testo-video entro 0,2 punti dal valore precedente. Questi risultati mostrano che una ricerca video accurata può basarsi su informazioni compatte, codificate una sola volta e riutilizzate all’arrivo di nuove query.