Verso l’etichettatura automatizzata per la governance dei contenuti video brevi

Abstract degli autori

La crescita esplosiva dei video brevi ha posto sfide significative alla governance dei contenuti. L’etichettatura manuale tradizionale è inefficiente, richiede tempi lunghi per le iterazioni ed è costosa. Per questo esploriamo e sviluppiamo un sistema di etichettatura automatizzata in più fasi, volto ad aumentare progressivamente il livello di automazione nell’annotazione dei video brevi. Per superare la forte dipendenza dall’etichettatura da parte di esperti umani nella fase iniziale L0, introduciamo nella fase L1 un MLLM discriminativo per l’etichettatura, sottoposto a fine-tuning con dati supervisionati per prevedere direttamente le etichette dei video brevi. Nella fase L2 passiamo a un MLLM adattivo al dominio, preaddestrato su dati relativi ai video brevi, e lo usiamo per l’etichettatura zero-shot, consentendo una generalizzazione flessibile senza supervisione specifica per il compito. Nella fase L3 proponiamo un flusso di lavoro di annotazione basato su un agente e dotiamo l’agente di diversi strumenti fondamentali, che gli permettono di gestire casi complessi, non familiari o definiti in modo vago, riducendo significativamente la necessità di intervento umano. Conduciamo un’ampia serie di esperimenti su diverse problematiche relative ai contenuti. I risultati dimostrano che ogni fase del sistema migliora progressivamente l’accuratezza dell’etichettatura e che, nelle applicazioni reali, i costi del lavoro manuale si sono ridotti significativamente, fino all’85%.