The Pulse
Il team della CMU studia atti giudiziari e simulazioni per esaminare i rischi dei chatbot-companion basati sull’IA
I ricercatori della Carnegie Mellon stanno esaminando documenti giudiziari e sperimentando conversazioni simulate per studiare i legami potenzialmente dannosi con i chatbot. Il team spera di sviluppare metodi per individuare le interazioni rischiose e intervenire prima che degenerino.

I ricercatori della Carnegie Mellon stanno esaminando documenti giudiziari relativi a presunti danni causati dai chatbot e sperimentando conversazioni simulate per capire come le persone possano sviluppare legami malsani con l’IA. Il team spera di individuare segnali d’allarme e sviluppare interventi prima che le interazioni degenerino, secondo un post pubblicato dall’università il 17 novembre.
Il lavoro, finanziato in parte dalla National Science Foundation, si concentra sulle relazioni che possono instaurarsi con l’uso ripetuto dei sistemi di IA. Riunisce ricercatori che si occupano di interazione uomo-computer, tecnologie linguistiche e scienze cognitive.
Oltre i chatbot pensati per fare compagnia
I ricercatori sono interessati alle relazioni che si sviluppano al di fuori delle piattaforme create appositamente per fare compagnia. Character.AI è incentrata su personaggi immaginari e giochi di ruolo, mentre strumenti per uso generale come ChatGPT, Claude e Gemini vengono usati per attività che vanno dalla scrittura di compiti ai consigli personali.
Secondo l’università, molti utenti si rivolgono ai chatbot per ricevere sostegno sociale ed emotivo, a volte senza volerlo e nel giro di pochi giorni. Il team sta studiando come le persone arrivino a considerare questi sistemi compagni fidati e come queste percezioni cambino con il ripetersi delle interazioni.
Inizialmente, un chatbot potrebbe incoraggiare una persona o mostrare di comprendere i suoi sentimenti. Con il tempo, questi scambi potrebbero contribuire a rafforzare il legame e rendere una persona più suscettibile a suggerimenti o comportamenti dannosi, ipotizzano i ricercatori.
Atti giudiziari e simulazioni
I documenti giudiziari riportano resoconti di interazioni con sistemi di IA, di come questi scambi siano cambiati e di come alcune situazioni siano degenerate in gravi incidenti. I casi riguardano presunti danni; il team esamina gli atti come punto di partenza per capire come si formano le relazioni e dove possono sorgere problemi.
Le conversazioni con i chatbot sono in genere private, il che limita l’accesso dei ricercatori a dati sulle interazioni su larga scala, come quelli disponibili per lo studio dei social media. Il team sta inoltre esplorando conversazioni tra chatbot e sistemi di IA progettati per rappresentare utenti umani.
Maarten Sap, docente presso il Language Technologies Institute, afferma che gli utenti simulati e le conversazioni simulate potrebbero consentire ai ricercatori di esaminare diversi schemi di interazione e caratteristiche degli utenti. Questo approccio potrebbe anche aiutarli a studiare come i comportamenti dei chatbot possano contribuire a legami malsani.
Secondo l’università, queste simulazioni potrebbero infine aiutare gli sviluppatori a testare i potenziali rischi prima di rendere pubblici i sistemi. Gli sviluppatori potrebbero esaminare le risposte di un chatbot man mano che si sviluppa una relazione, senza esporre persone reali a interazioni potenzialmente dannose.
Individuare il momento giusto per intervenire
Hong Shen, docente presso l’Human-Computer Interaction Institute, descrive le interazioni sociali e relazionali come qualcosa che emerge nel tempo. «Stiamo cercando di trovare il momento giusto per intervenire», ha detto Shen.
Nel lungo periodo, il team punta a sviluppare metodi per individuare quando un’interazione potrebbe prendere una direzione dannosa. Tra i possibili interventi figurano avvertire gli utenti che uno scambio potrebbe essere malsano o modificare le risposte di un chatbot per ridurre i potenziali danni.
Il team di ricerca
Il team comprende Shen e Jodi Forlizzi, entrambe docenti presso l’Human-Computer Interaction Institute; Sap; e Qiaosi Wang, ricercatrice post-dottorato presso lo stesso istituto.
Shen studia come progettare sistemi di IA che rimangano sicuri durante le interazioni, mentre Sap si occupa di elaborazione del linguaggio naturale e intelligenza sociale dell’IA, compreso il modo in cui calore e cortesia influenzano la fiducia. Forlizzi studia gli impatti etici in contesti incentrati sulle persone, comprese le interazioni nei settori dei servizi e i modi in cui gli sviluppatori possono prevenire i pregiudizi e altri danni.
La formazione di Wang spazia dall’intelligenza artificiale alle scienze cognitive; Wang studia come le persone comprendono i pensieri e le intenzioni altrui. Il team riunisce queste prospettive per indagare come le persone percepiscono le interazioni con i chatbot e come queste percezioni si evolvono nel tempo.
Fonte
Notizie correlate
- I modelli di IA spesso individuano bersagli nei test sulle armi, afferma Vals AI
- Uno studio di Microsoft rileva che i segnali della sonda su Kimi K3 possono arrivare in ritardo
- Reflection illustra i test di sicurezza di Gray Swan sul modello open-weight Beam
- Anthropic pubblica raccomandazioni per progettare, condurre e riferire i risultati dei test di sicurezza dell’IA
- OpenAI illustra i sistemi di monitoraggio addestrati sull’attività interna dei modelli