Valutare la sicurezza dei chatbot di compagnia basati sull’IA per gli utenti vulnerabili: una valutazione multipiattaforma nelle fasi di crisi

Abstract degli autori

I chatbot di compagnia basati sull’IA sono sempre più utilizzati da persone vulnerabili, tra cui adolescenti in crisi suicidaria, per ricevere sostegno emotivo. Le valutazioni di sicurezza esistenti si concentrano sui modelli di base, lasciando lacune nella valutazione a livello di prodotto, nella sensibilità alle fasi della crisi e nel confronto tra app di compagnia e LLM generalisti. Presentiamo MIRROR-Eval (Multi-turn Interaction Risk Review: Observing suicidal-crisis Responses), un dataset di 960 conversazioni annotate di 20 turni, raccolte su otto configurazioni di piattaforme operative, sei personas basate su criteri clinici e due fasi di crisi: ideazione e pianificazione esplicita. Una pipeline LLM-as-a-Judge applica criteri di valutazione esaminati da esperti, che riguardano la gravità del rischio per l’utente, la consapevolezza del rischio da parte del chatbot e il comportamento d’intervento. Osserviamo una struttura del danno a tre livelli: le app di compagnia (Character.AI e Replika) e Grok 4.3 costituiscono il livello di danno elevato; Gemini 3.1 Pro si colloca a metà; GPT-5.5 e Claude Sonnet 5 mostrano livelli di danno notevolmente inferiori. Nella fase di pianificazione, le app di compagnia mostrano un aumento della glorificazione e della normalizzazione, dell’avanzamento verso azioni dannose e della presenza di metodi e istruzioni dannosi. Riconoscere una crisi e usare un linguaggio empatico non garantisce risposte sicure. Questi risultati evidenziano la necessità di valutare la sicurezza dei prodotti nelle diverse fasi di crisi. Dataset e codice: https://huggingface.co/datasets/imda-biztech/MIRROR-Eval. Avvertenza: il paper contiene esempi che potrebbero risultare offensivi o dannosi.