The Pulse

OpenAI pubblica MentalHealthBench, sviluppato con oltre 80 clinici

Il benchmark aperto di OpenAI valuta le risposte dell’IA a conversazioni realistiche sulla salute mentale, con rubriche di valutazione sviluppate insieme a oltre 80 professionisti abilitati.

AI.info Team · Scritto con l’IA · verificato · 2026-09-24

«La salute mentale si colloca lungo un continuum, che va dal pieno benessere allo stress quotidiano fino alla crisi acuta. I sistemi di IA che interagiscono con le persone lungo tutto questo spettro devono fondarsi sia sulla scienza clinica sia sull’esperienza vissuta: non solo per riconoscere dove si trovi una persona su questo continuum, ma anche per sapere come rispondere in modo appropriato in ogni punto».

Dr. Arthur Evans, amministratore delegato dell’American Psychological Association

OpenAI valuta non solo le risposte alle crisi

Il 23 settembre OpenAI ha pubblicato MentalHealthBench, descrivendolo come un benchmark aperto per valutare le risposte dell’IA a conversazioni realistiche sulla salute mentale. Secondo l’azienda, i test esistenti si concentrano spesso sulle emergenze e su regole di sicurezza generali, lasciando meno visibilità su come i sistemi affrontano questioni comuni come le relazioni, lo stress e il sostegno emotivo. MentalHealthBench mira a valutare questi scambi ordinari insieme a situazioni di grave disagio e di rischio urgente.

Il benchmark contiene 1.215 conversazioni sintetiche create con metodi che tutelano la privacy e concepite per rispecchiare gli schemi d’uso reali dell’IA. I suoi scenari riguardano adulti, adolescenti, caregiver e clinici e comprendono diverse lingue e contesti culturali. I ricercatori possono esaminare il benchmark, eseguirlo e svilupparlo ulteriormente.

I clinici definiscono le regole di valutazione

Oltre 80 psicologi e psichiatri abilitati di 22 paesi hanno contribuito a sviluppare il benchmark. Il gruppo parla 19 lingue e rappresenta quasi 20 specializzazioni nell’ambito della salute mentale. Per ogni conversazione, gli esperti definiscono criteri ponderati per valutare la risposta di un modello all’ultimo messaggio dell’utente; i pesi positivi premiano i comportamenti utili, mentre quelli negativi penalizzano i comportamenti dannosi.

Almeno tre esperti esaminano i criteri di ogni conversazione. OpenAI mantiene quelli sostenuti da almeno due esperti e non contestati da un terzo. La rubrica che ne risulta può premiare azioni specifiche, come porre una domanda pertinente per approfondire, e penalizzare risposte che fanno congetture sui sentimenti di un utente o lo spingono verso una decisione.

GPT-6 Astra ottiene 57,3 nel benchmark

OpenAI riporta per GPT-6 Astra un punteggio di 57,3 con troncamento per singolo compito, il risultato complessivo più alto nel confronto pubblicato dall’azienda. GPT-6 Sol ottiene 53,9, Claude Opus 5.5 ottiene 52,4 e GPT-4o di marzo 2025 ottiene 32,1. Questi valori misurano le prestazioni rispetto alle rubriche ponderate del benchmark; non sono tassi di esiti clinici né una misura dell’efficacia dei trattamenti.

OpenAI usa GPT-5.6 Sol come valutatore automatizzato. Secondo il paper di ricerca, l’azienda campiona quattro risposte per ogni compito e le fa valutare dal sistema rispetto ai criteri degli esperti. Questa impostazione permette al benchmark di applicare regole coerenti a molti modelli, ma significa anche che i risultati riportati dipendono in parte da un giudice basato sull’IA che decide se una risposta abbia soddisfatto ciascun criterio.

Il dataset comprende tre livelli di urgenza: il 53,5% delle conversazioni riguarda situazioni non acute, il 18,2% situazioni di elevata gravità e il 28,3% emergenze. Gli adolescenti rappresentano il 21,2% degli esempi, mentre gli adulti il 68,1%; il resto è costituito da caregiver e clinici. OpenAI avverte che la composizione degli scenari è stata scelta ai fini della valutazione e non rappresenta la frequenza con cui questi temi emergono in ChatGPT.

Le preferenze degli utenti e le indicazioni cliniche divergono

OpenAI ha anche confrontato le valutazioni degli esperti con i riscontri di 44 adulti in 16 paesi che avevano usato l’IA per la salute mentale o il sostegno emotivo. La valutazione degli utenti riguardava soltanto conversazioni relative a situazioni non acute. I partecipanti hanno dato maggiore importanza ai passi pratici successivi e al tono, mentre gli esperti hanno privilegiato più spesso la raccolta di informazioni sul contesto e l’interpretazione attenta delle situazioni ambigue.

La distinzione è importante perché una risposta che sembra utile a un utente può comunque omettere misure di salvaguardia o formulare supposizioni che un clinico respingerebbe. Il paper di OpenAI descrive MentalHealthBench come una valutazione delle risposte all’ultimo turno di una conversazione sintetica, non come un test dell’assistenza continuativa o degli esiti sanitari nel mondo reale. I suoi risultati offrono quindi un confronto strutturato del comportamento dei modelli in scenari definiti, non la prova che un sistema possa sostituire la terapia o l’assistenza professionale.