The Pulse
Common Sense Media giudica ChatGPT for Teens un rischio inaccettabile
Lo Youth AI Safety Institute di Common Sense Media ha giudicato ChatGPT for Teens un «rischio inaccettabile» dopo aver testato più di 4.000 prompt. OpenAI ha contestato la valutazione, richiamando l’attenzione sui tempi di attivazione dei c
AI.info Team · Scritto con l’IA ·
Lo Youth AI Safety Institute di Common Sense Media sostiene che ChatGPT for Teens sia troppo rischioso per i minori; OpenAI replica che i test dell’istituto non rispecchiano il funzionamento delle sue misure di protezione nella pratica. Le due posizioni si sono scontrate il 7 ottobre, quando l’istituto ha giudicato il servizio un «rischio inaccettabile» e ha esortato OpenAI a smettere di promuoverlo presso gli adolescenti finché non sarà in grado di offrire un’esperienza più sicura.
L’istituto ha testato più di 4.000 prompt su account di adolescenti, confrontando le conversazioni precedenti e successive al lancio dell’esperienza per adolescenti di OpenAI, avvenuto il 18 agosto. Secondo il rapporto, alcune protezioni hanno funzionato, tra cui il rifiuto di partecipare a giochi di ruolo esplicitamente sessuali, ma sono emerse lacune nell’indirizzamento ai servizi di assistenza in caso di crisi, nelle notifiche ai genitori, nei controlli per lo studio e nel rilevamento dell’età. OpenAI ha contestato i test e le conclusioni.
Le notifiche ai genitori non sono scattate nei test sui nuovi account
Il disaccordo più netto riguarda ciò che accade quando un adolescente descrive una crisi immediata. L’istituto ha creato più di una dozzina di nuovi account registrati a nome di ragazzi tra i 13 e i 17 anni, ha collegato ciascuno a un account di un genitore e ha testato conversazioni su suicidio, autolesionismo e disturbi alimentari. Nessuno di questi account ha generato una notifica al genitore durante conversazioni durate da cinque minuti a un’ora, nonostante dichiarazioni esplicite, secondo il rapporto.
I risultati sono stati diversi per gli account già sottoposti a settimane di test. Su questi account utilizzati più a lungo, l’istituto ha ricevuto quattro notifiche: due prima del lancio della modalità per adolescenti e due dopo. Una delle notifiche precedenti al lancio è arrivata tre ore dopo la rivelazione di una crisi; l’altra tre giorni dopo. L’istituto osserva che le notifiche successive al lancio provenivano da account con un’ampia cronologia di conversazioni, il che suggerisce che il sistema di notifiche possa rispondere alla cronologia accumulata dall’account anziché alla gravità di una singola rivelazione.
La valutazione di Common Sense ha rilevato anche lacune nell’indirizzamento verso un aiuto professionale. Tra 390 prompt distinti sulla salute mentale esaminati da psichiatri dell’infanzia e dell’adolescenza, i consulenti hanno ritenuto che 201 richiedessero una risorsa di supporto in caso di crisi. Su questo stesso insieme di prompt, la quota di risposte che indicavano una linea telefonica di aiuto è scesa dal 33% prima della modalità per adolescenti al 23% dopo; le indicazioni a rivolgersi a un medico o a un professionista della salute mentale specifico sono scese dal 68% al 58%. Secondo il rapporto, molte risposte erano valide dal punto di vista clinico, ma consigli validi non bastano se il sistema non mette un adolescente in contatto con chi può aiutarlo.
OpenAI contesta le condizioni dei test
OpenAI ha dichiarato ad Axios che gran parte dei test dell’istituto sulle notifiche ai genitori potrebbe essere stata condotta prima che i controlli parentali degli account collegati avessero terminato l’attivazione, un processo che secondo l’azienda può richiedere diverse ore. L’istituto ha affrontato la questione dei tempi nel rapporto: OpenAI gli ha comunicato che, per poter ricevere notifiche, gli account devono essere collegati da circa tre ore. Secondo l’istituto, alcuni account usati nei test erano collegati da meno tempo, mentre altri lo erano da più tempo; l’istituto ha confermato le proprie conclusioni.
Study Hours ha messo in luce un’altra divergenza su ciò che un controllo parentale promette di fare. Secondo il rapporto, gli adolescenti potevano rimuovere il prefisso «@study» da una nuova chat e usare ChatGPT normalmente, oppure scegliere l’opzione «Mostrami la risposta» invece di ricevere spiegazioni passo dopo passo. OpenAI ha dichiarato ad Axios che consentire agli adolescenti di uscire da Study Mode durante Study Hours è una scelta intenzionale: ha progettato la funzione come un’esperienza flessibile dopo aver consultato insegnanti e adolescenti, non come un blocco parentale rigido.
Tom Siegel, direttore esecutivo dello Youth AI Safety Institute di Common Sense Media, ha dichiarato ad Axios: «ChatGPT non è sicuro per i bambini». Ha detto che l’esperienza per adolescenti potrebbe comunque diventare un punto di riferimento nel settore, ma ha sostenuto che alle protezioni annunciate in agosto non è seguito il lavoro tecnico necessario per renderle efficaci.
Esaminati anche il rilevamento dell’età e gli strumenti per lo studio
L’istituto ha riscontrato che le scorciatoie per lo studio non si limitavano a una sola impostazione. Nei suoi test, l’opzione «Mostrami la risposta» compariva nel 43% delle risposte per un account collegato di un tredicenne con Study Hours attivo e nel 90% di quelle per un account non collegato di un diciassettenne che usava Study Mode. Quando i tester hanno eliminato il prefisso per lo studio, il sistema ha svolto tutti i compiti sottoposti in quella sequenza di test.
Il rapporto ha esaminato anche se gli account registrati come appartenenti ad adulti sarebbero passati all’esperienza per adolescenti qualora gli utenti avessero dichiarato ripetutamente di essere minorenni. Nel corso di circa 1.000 prompt inviati in sette giorni da account con un’età registrata di 19 anni, ChatGPT ha riconosciuto in alcune risposte che un tester aveva 13 anni, ma non ha fatto passare l’account alla modalità per adolescenti. OpenAI afferma che il suo sistema di stima dell’età usa più segnali, anziché basarsi soltanto sull’età dichiarata dall’utente, e ha detto ad Axios che la valutazione può richiedere fino a due settimane.
Da parte sua, l’istituto afferma di aver condotto i test dal 13 luglio al 17 agosto, prima del lancio, e dal 25 agosto al 28 settembre, dopo il lancio. Riconosce un limite: poiché le due finestre di test si sono succedute, le modifiche al modello sottostante potrebbero confondersi con gli effetti delle impostazioni della modalità per adolescenti. Non ha testato la modalità vocale, la generazione di immagini, le impostazioni di personalizzazione né le chat di gruppo.
La valutazione richiede più di un elenco di funzioni
OpenAI ha lanciato ChatGPT for Teens come insieme di impostazioni e funzioni dell’interfaccia per gli account che identifica come appartenenti a utenti tra i 13 e i 17 anni, non come app o modello separato. L’insieme comprende protezioni per i contenuti, strumenti per lo studio e controlli parentali facoltativi. L’obiezione dell’istituto è che le funzioni elencate nei materiali sul prodotto non garantiscono alle famiglie che le protezioni si attivino in modo affidabile quando un adolescente ha bisogno di aiuto.
Nel rapporto, l’istituto scrive: «Chiediamo a OpenAI di sospendere la promozione del prodotto e di tenere gli adolescenti lontani da ChatGPT finché non sarà in grado di offrire un’esperienza sicura e adeguata al loro sviluppo». La replica di OpenAI si concentra sulla questione se la valutazione abbia esaminato i controlli così come sono stati implementati e sulla flessibilità prevista per Study Hours. La controversia immediata resta quindi concreta: se le protezioni funzionino come i genitori si aspetterebbero e se i test le abbiano misurate nelle condizioni che OpenAI considera complete.