MMTA: un benchmark per l’analisi temporale multimodale con serie temporali, testo e visione

Abstract degli autori

L’analisi delle serie temporali è sempre più studiata in contesti multimodali, ma la maggior parte dei benchmark abbina i segnali temporali al testo oppure a visualizzazioni ricavate dagli stessi segnali. Resta quindi da capire se i modelli linguistici multimodali di grandi dimensioni (MLLM) siano in grado di integrare le serie temporali con evidenze visive del mondo reale. Presentiamo MMTA (analisi temporale multimodale), un benchmark di compiti trimodali con diverse forme di complementarità tra serie temporali, testo e visione. MMTA copre nove ambiti — robotica, guida autonoma, azioni umane, produzione industriale, assistenza AR, sanità, raccomandazione, finanza e clima — nelle configurazioni video+TS e image+TS. La sua porzione di test comprende 3.524 campioni per compiti di classificazione e previsione. Il benchmark riconduce fonti eterogenee del mondo reale a uno schema comune, con prompt specifici per ciascun ambito, documentazione sulla provenienza e metriche ponderate in base al successo che penalizzano sia le risposte errate sia le generazioni non riuscite. La valutazione di otto MLLM open source e proprietari rivela un limite comune: rappresentare le serie temporali come testo produce sequenze di token molto lunghe e indebolisce l’allineamento dettagliato con le evidenze visive, soprattutto quando i video sono lunghi. Presentiamo poi TimeOmni-v, un’estensione di un modello linguistico multimodale di grandi dimensioni dotata di un encoder dedicato alle serie temporali, allineamento posizionale temporale, una disposizione dei token che tiene conto della modalità e una testa di previsione. TimeOmni-v migliora la classificazione dei video lunghi e l’efficienza dell’inferenza sulle serie temporali, mostrando che MMTA non solo mette in luce i problemi di rappresentazione e di ancoraggio ai dati, ma motiva anche scelte mirate nella progettazione dei modelli.