ArtSociety: collaborazione multimodale multi-agente per comprendere le emozioni nell’arte

Abstract degli autori

Il compito AffectiveArt Multidimensional Art Emotion Understanding chiede di prevedere congiuntamente le emozioni di un’opera d’arte a grana fine (12 classi, rapporto testa-coda di 1549:1), valenza e arousal binari e cinque descrizioni ancorate agli attributi: sottocompiti che presentano forti compromessi empirici, perciò le soluzioni a modello singolo che abbiamo provato non riescono a ottimizzarli tutti bene congiuntamente. Presentiamo ArtSociety, un framework multi-agente che riunisce esperti multimodali eterogenei — un agente visivo DINOv2-Giant (A1), un MLLM fine-tuned con CoT ancorato alla scena (A2) e tre agenti di ragionamento closed source (A3-A5) — e li coordina con due controller che non richiedono addestramento: (i) un arbitro di voto consapevole delle classi rare, che abbassa la soglia di accordo per le emozioni di coda, sfruttando i pattern di errore non correlati tra le famiglie di agenti; e (ii) un agente di ragionamento che antepone la descrizione, la cui catena di pensiero DESCRIBE-then-CLASSIFY impone di fornire evidenze visive prima di scegliere un’etichetta, producendo descrizioni ancorate quasi perfette. Una politica di instradamento dei compiti assegna il difficile compito sulle emozioni all’intero ensemble di cinque agenti, mentre affida i compiti di valenza/arousal, prossimi alla saturazione, e di generazione delle descrizioni all’agente di ragionamento singolo più efficace. Sul test set ufficiale (1.000 opere d’arte), ArtSociety ottiene un punteggio complessivo di 0,8870 (Classificazione 0,7789, Descrizione 0,9952). Uno studio di ablazione su undici varianti rivela che, una volta che metodo e scala si attestano intorno a 0,76, i miglioramenti decisivi derivano dalla collaborazione tra agenti e dalla supervisione lato dati: un modello MoE da 30B addestrato su dati meno recenti non supera un modello da 8B addestrato su dati migliori. Il codice è disponibile all’indirizzo https://github.com/swordlidev/ArtSociety