VidUEU-Agent: un agente per la curatela dei dati per la comprensione multimodale, l’editing e i compiti unificati

Abstract degli autori

I progressi nell’apprendimento multimodale sono fortemente limitati dalla scarsità di dati di istruzioni di alta qualità e dai costi elevati per annotarli. Sebbene i video grezzi offrano una fonte abbondante e dinamica di conoscenze visive, trasformarli in dati di istruzioni precisi resta molto difficile. Per colmare questa lacuna, presentiamo VidUEU-Agent, una pipeline automatizzata che sintetizza dati di istruzioni a partire da video grezzi per la comprensione multimodale, l’editing e i compiti unificati. VidUEU-Agent segue una pipeline in quattro fasi: esegue una percezione globale per filtrare le inquadrature di bassa qualità, estrae fotogrammi chiave e segnali multimodali, costruisce metadati e li instrada per sintetizzare esempi di istruzioni. Ancora più importante, il nostro framework agentico può iterare autonomamente sulla distribuzione dei dati in base ai risultati dell’addestramento a valle, ottimizzando così la qualità e l’equilibrio dei dati e l’efficacia dell’addestramento. Estendendo questa pipeline, costruiamo VidUEU-100K, un dataset su larga scala composto da 100K esempi di addestramento, che copre più domini e compiti e fornisce una solida base per sviluppare capacità multimodali complete. Esperimenti approfonditi dimostrano che il fine-tuning dei modelli di base su VidUEU-100K produce miglioramenti significativi e costanti delle prestazioni su diversi benchmark rappresentativi, convalidando l’efficacia del framework agentico e del dataset che proponiamo.