Stessa domanda, risposte diverse: verifica delle variazioni legate ai profili nei consigli per smettere di fumare forniti da sei LLM

Abstract degli autori

Oggi centinaia di milioni di persone chiedono consigli sulla salute ai chatbot basati su modelli linguistici di grandi dimensioni (LLM), sollevando una domanda semplice da porre ma difficile a cui rispondere: tutti ricevono gli stessi consigli? Abbiamo sottoposto a verifica sei LLM ampiamente diffusi, forniti da quattro provider, sul tema della cessazione del fumo, un ambito con linee guida cliniche codificate e importanti implicazioni per la salute pubblica. Abbiamo posto le stesse quattro domande su come smettere di fumare a dodici profili utente, diversi per fase della vita, competenze dichiarate e storia di fumo, ottenendo in totale 2.880 risposte. Ciò che i modelli dicono dipende da chi sembra porre la domanda. Tutti i modelli hanno menzionato farmaci soggetti a prescrizione approvati dalla FDA per smettere di fumare con minore frequenza nei profili adolescenti rispetto a quelli adulti, con una differenza da 32 a 67 punti percentuali; inoltre, in cinque modelli su sei, un profilo che dichiarava competenze in ambito sanitario ha ricevuto meno informazioni fattuali di uno che non ne dichiarava alcuna. Abbiamo poi valutato un intervento applicabile: un breve prompt di sistema che specifica un nucleo minimo di informazioni fattuali, cioè l’insieme dei fatti medici fondamentali che ogni utente dovrebbe ricevere quando pertinenti, lasciando che tono, lessico e impostazione possano adattarsi liberamente. Il prompt riduce le differenze tra profili in tutti i modelli, ma il suo effetto sulla copertura complessiva delle informazioni fattuali varia, per entità e direzione, da un modello all’altro; non si può quindi presumere che un prompt convalidato su un sistema funzioni anche su un altro. Questi risultati vanno letti alla luce di due cautele. Tassi di menzione uguali non sono sempre l’obiettivo clinico corretto, perché la farmacoterapia prescritta per smettere di fumare non è raccomandata per i minori: un nucleo minimo di informazioni fattuali difendibile deve quindi tenere conto dell’età, anziché essere uniforme. Inoltre, poiché i nostri profili variano simultaneamente per diversi attributi, riportiamo differenze a livello di scenario anziché effetti isolati dell’età o delle competenze. Rendiamo disponibili tutte le 2.880 risposte e il codice dell’analisi.