RESCUE-BENCH: verso sistemi di conversazione per il supporto emotivo a più partecipanti che tengano conto delle relazioni

Abstract degli autori

I sistemi di conversazione per il supporto emotivo esistenti si concentrano soprattutto sulle interazioni a due tra chi cerca aiuto e chi lo offre e sugli stati emotivi individuali, lasciando poco esplorate le relazioni interpersonali nei contesti a più partecipanti. In questo lavoro introduciamo il supporto emotivo conversazionale attento alle relazioni, un nuovo compito che valuta se i modelli linguistici di grandi dimensioni (LLM) siano in grado di cogliere e utilizzare l’evoluzione delle dinamiche relazionali per offrire un supporto emotivo più efficace. Costruiamo RESCUE (Relation-aware Emotional Support Conversation Understanding and Evaluation Benchmark) a partire da conversazioni reali tratte da interviste a coppie e famiglie: comprende 191 campioni, 7.079 turni annotati e 1.064,8 minuti di video. Sulla base di ricche annotazioni delle dinamiche socioemotive e di quelle legate al supporto, RESCUE definisce sei compiti che valutano due capacità fondamentali per un supporto emotivo attento alle relazioni: la comprensione delle relazioni e il supporto sensibile alle relazioni. Gli esperimenti condotti con dieci LLM mostrano che i modelli attuali ottengono risultati relativamente buoni nei compiti basati su segnali locali relativi alle emozioni o agli interventi, ma incontrano difficoltà nei compiti che richiedono una comprensione approfondita delle relazioni, come la previsione degli schemi relazionali, dei punti di vista e delle strategie di supporto. Questi risultati rivelano i limiti degli attuali LLM nel modellare le relazioni interpersonali e nel prendere decisioni di supporto che tengano conto delle relazioni.