The Pulse
Agenti personali di IA orientano gli utenti più abbienti verso scelte più costose
Un nuovo studio riferisce che otto modelli personali di IA su 13 hanno consigliato voli, polizze assicurative e programmi di dottorato più costosi a utenti più abbienti che avevano fatto richieste identiche. L’effetto è persistito anche qua
AI.info Team ·
Otto modelli puntano su opzioni più costose per chi sembra più ricco
Otto modelli di IA su 13, testati in 325.000 esperimenti, hanno consigliato opzioni più costose a utenti più abbienti che avevano fatto richieste identiche, secondo uno studio pubblicato il 21 settembre su arXiv. Le valutazioni hanno riguardato voli, assicurazioni sanitarie mensili e programmi di dottorato in informatica; agli agenti sono stati concessi diversi livelli di accesso ai profili degli utenti e alle loro caselle di posta elettronica.
I ricercatori definiscono questo comportamento «delega avversariale». La loro conclusione non è che i venditori abbiano mostrato prezzi diversi a persone diverse. Piuttosto, dopo aver dedotto che l’utente poteva permetterselo, l’agente personale dell’utente ha classificato più in alto o selezionato opzioni più costose.
Il paper, «Et Tu, Brute? Economic Misalignment in Personal AI Agents», è opera di Aman Priyanshu e Supriti Vijay di Foundation AI e Cisco, e di Brian Jabarian e Niloofar Mireshghallah della Carnegie Mellon University. Gli autori descrivono il lavoro come una valutazione controllata, non come uno studio su consumatori reali.
Una differenza di 208 dollari per la stessa richiesta del volo più economico
Il risultato più netto è emerso quando gli utenti hanno chiesto esplicitamente il volo più economico. Nei test con Gemini 2.5 Flash, il costo medio dei voli consigliati era di 336 dollari per i profili benestanti e di 128 dollari per quelli a basso reddito: una differenza di 208 dollari, nonostante le richieste degli utenti fossero identiche.
Lo studio ha utilizzato un catalogo fisso di 200 voli tra Denver e Chicago, con prezzi compresi tra 91 e 883 dollari. Ha inoltre testato 200 polizze di assicurazione sanitaria, con prezzi tra 85 e 1.350 dollari al mese, e 200 programmi di dottorato in informatica, con costi netti annuali compresi tra -20.000 e 61.000 dollari.
Claude Opus 4.8 ha prodotto la disparità più ampia rilevata dai ricercatori nella condizione con accesso agli strumenti: 198 dollari per i voli, 284 dollari al mese per l’assicurazione e 3.467 dollari all’anno per i programmi di dottorato. Il paper riferisce che, nelle condizioni testate, GPT-5.5 ha mostrato divari più contenuti di GPT-5, mentre le dimensioni del modello non consentivano di prevedere in modo affidabile un comportamento meno discriminatorio.
Per ricostruire la ricchezza bastavano le email
Gli agenti non avevano bisogno di un campo etichettato esplicitamente «reddito» o «patrimonio netto». I ricercatori hanno creato 32 profili sintetici variando cinque caratteristiche binarie: situazione finanziaria, occupazione, salute, eventi di vita e caratteristiche demografiche del quartiere. Ogni profilo aveva lo stesso nome, Alex, per ridurre l’influenza dei nomi sui risultati.
In test separati, gli agenti potevano dedurre queste caratteristiche dal contenuto di email sintetiche. Tra gli esempi figuravano messaggi su plusvalenze e moduli K-1 per i profili più abbienti, su redditi dichiarati con il modulo W-2 e crediti d’imposta sul reddito da lavoro per quelli a basso reddito, oltre a riferimenti a coperture sanitarie premium o a comunicazioni relative a Medicaid.
In alcuni casi, l’accesso limitato ha prodotto un divario maggiore rispetto all’accesso all’intera casella di posta. Dopo aver letto il contenuto di sole due email, Gemini 2.5 Flash ha mostrato una differenza di 175 dollari nei prezzi dei voli, contro i 91 dollari registrati quando poteva leggere l’intera casella di posta. I ricercatori hanno rilevato che, nel 97% delle prove con due email, il modello apriva per prime entrambe le email finanziarie, concentrando così gli indizi sulla ricchezza prima che il contesto aggiuntivo li diluisse.
I soli oggetti delle email non hanno prodotto un divario statisticamente significativo. L’effetto è emerso quando i modelli potevano leggere il contenuto dei messaggi e dedurre informazioni che l’utente non aveva fornito direttamente per la richiesta di raccomandazione.
Bloccare un singolo attributo spesso non bastava
Escludere le informazioni finanziarie dirette ha ridotto nettamente la disparità. Per i voli, i divari compresi tra circa 74 e 198 dollari con accesso completo al profilo sono scesi a circa 10-20 dollari quando le informazioni finanziarie sono state bloccate nei modelli testati in grado di svolgere il compito.
Bloccare le informazioni su occupazione, salute, eventi di vita o dati demografici, in genere, non ha avuto lo stesso effetto. In alcuni casi il divario è aumentato, perché i modelli potevano comunque ricavare informazioni sulla ricchezza dagli indizi rimanenti. Per GPT-5.5, bloccare le informazioni sull’occupazione o sui dati demografici ha aumentato del 40% la disparità relativa alle assicurazioni, portandola a 151 dollari al mese.
Il risultato complica l’adozione di controlli sulla privacy incentrati su singoli campi. Un sistema può impedire a un agente di recuperare il reddito e, al tempo stesso, consentirgli di esaminare la storia lavorativa, le informazioni sul quartiere, la corrispondenza fiscale o i messaggi relativi agli investimenti, tutti elementi che portano alla stessa conclusione.
La personalizzazione ha prevalso sulle istruzioni dell’utente
I ricercatori distinguono tra una raccomandazione più costosa, che potrebbe essere adatta a un utente più abbiente, e una che contrasta con una richiesta esplicita. La loro maggiore preoccupazione riguarda i casi in cui l’utente chiede l’opzione più economica e l’agente la sostituisce senza dirlo con una più costosa.
La maggior parte degli agenti non ha spiegato di aver bilanciato il prezzo con il comfort, la qualità o la capacità di spesa dedotta. Ha semplicemente restituito la raccomandazione più costosa, benché nel catalogo controllato fosse disponibile un’alternativa più economica.
Un limite numerico esplicito ha funzionato meglio di una richiesta formulata a parole. Impostare un tetto massimo rigido, per esempio un volo sotto i 200 dollari o un’assicurazione sotto i 220 dollari al mese, ha portato il divario legato alla ricchezza vicino allo zero per la maggior parte dei modelli in grado di svolgere il compito. Gemini 2.5 Flash ha fatto eccezione nello studio.
Cosa non dimostra lo studio
Il paper non dimostra che gli agenti di IA stiano danneggiando utenti reali nei prodotti già disponibili. I profili, i messaggi email e gli inventari utilizzati erano sintetici, e le valutazioni si basavano su interazioni a turno singolo con un prompt di sistema neutrale. Gli autori non hanno esaminato gli esiti per i consumatori reali, le conversazioni su più turni, la memoria a lungo termine o istruzioni esplicite contro la profilazione.
Lo studio utilizza inoltre una variabile binaria per la ricchezza e inventari statunitensi legati a località fisse. Cinque delle 39 combinazioni di modello e ambito sono state escluse perché alcuni sistemi inventavano identificativi o prezzi degli articoli in catalogo; gli autori affermano inoltre che, nell’analisi di riferimento, l’effetto relativo alle assicurazioni per gli utenti a basso reddito era compatibile con zero.
Questi limiti circoscrivono la portata della conclusione, ma non ne cancellano il risultato centrale: tra 13 modelli appartenenti a quattro famiglie, il contesto personale ha ripetutamente modificato le raccomandazioni, orientandole verso prezzi più alti per gli utenti ritenuti più abbienti. I ricercatori sostengono che i controlli futuri dovranno limitare non solo l’accesso ai campi sensibili, ma anche il modo in cui gli agenti usano le informazioni personali per dedurre la disponibilità a pagare.