Un approccio agentico con verifica basata su evidenze per il ragionamento multimodale sulle emozioni nelle conversazioni

Abstract degli autori

I sistemi di ragionamento multimodale sulle emozioni basati su LLM ottengono buoni risultati sui benchmark standard, ma migliorarli con l’instruction tuning può essere costoso dal punto di vista computazionale. Le pipeline agentiche costruite con modelli congelati evitano questo costo, ma introducono una sfida diversa: quando una previsione è errata, il sistema deve individuare quale agente o fase ha causato l’errore. Affrontiamo questo problema con un framework agentico per il ragionamento multimodale tracciabile sulle emozioni e l’adattamento nello spazio dei prompt. Agenti percettivi specifici per modalità analizzano gli input visivi, acustici e lessicali e pubblicano su una lavagna condivisa osservazioni corredate da citazioni delle evidenze. Un agente di integrazione combina queste osservazioni con esempi multimodali recuperati per produrre una descrizione dell’emozione, un insieme di etichette e le relative citazioni a supporto, mentre un critico MLLM può richiedere una revisione prima che l’output venga finalizzato. Per le previsioni errate, una fase separata di verifica basata su evidenze applica controlli deterministici per verificare che le evidenze citate e i riferimenti siano validi, oltre a un controllo di entailment per stabilire se le affermazioni finali siano supportate da tali evidenze. Gli errori rilevati vengono quindi raggruppati in base al componente responsabile e al tipo di errore, convertiti in modifiche mirate ai prompt e accettati solo dopo la convalida su un set tenuto da parte. Questo permette di adattare i prompt degli agenti senza aggiornare i pesi dei modelli. Sul dataset MER2025, l’adattamento mirato dei prompt supera la pipeline statica con modelli congelati per tutti e quattro gli MLLM, da 2B a 38B parametri, e li eguaglia o supera i baseline di riflessione non differenziata: VideoLLaMA3-2B, Phi-3.5-vision-instruct, Qwen2.5-VL-7B-Instruct e InternVL2.5-38B. Migliora l’F-score di 0,6–2,2 punti a seconda del modello di base, con un aumento da 52,3 a 54,5 su Qwen2.5-VL-7B.