The Pulse
Anthropic: gli errori sulle preferenze hanno causato l’85% del divario del mercato
Con Project Swap, Anthropic ha mandato agenti di Claude in un mercato di scambio di libri con 201 dipendenti. L’esperimento ha rilevato che le stime imprecise delle preferenze dei lettori spiegavano gran parte del divario tra gli scambi eff
AI.info Team ·
La lettura imperfetta di Claude delle preferenze delle persone spiegava l’85% del divario tra le migliori assegnazioni possibili dei libri e i risultati ottenuti nel mercato di scambio gestito dall’IA di Anthropic. L’azienda ha pubblicato i risultati il 24 settembre 2026, nell’ambito di Project Swap, un esperimento controllato in cui agenti di Claude hanno negoziato scambi di libri per 201 dipendenti di Anthropic. Il risultato segnala un problema che la sola abilità negoziale non può risolvere: un agente può negoziare efficacemente e tuttavia concludere uno scambio inadatto alla persona che rappresenta, se ne fraintende le preferenze.
201 dipendenti di Anthropic hanno mandato Claude in un mercato di libri
I dipendenti di sei uffici hanno portato un libro che volevano regalare e hanno parlato con Claude di ciò che speravano di leggere. Claude ha usato quelle conversazioni per classificare i libri di ogni gruppo locale, poi gli agenti hanno portato i libri dei rispettivi proprietari su una piattaforma digitale di scambio condivisa. Potevano proporre scambi, accettare o rifiutare offerte e organizzare transazioni che coinvolgevano più persone; un accordo andava a buon fine solo se tutti i partecipanti erano d’accordo.
I ricercatori hanno confrontato i libri ricevuti dalle persone con le classifiche che i partecipanti hanno poi fornito autonomamente. Gli agenti non hanno avuto accesso a quelle classifiche, che hanno così fornito ad Anthropic una misura indipendente della capacità di Claude di comprendere ciascuna persona. L’azienda descrive Project Swap come un seguito più semplice di Project Deal, il suo precedente test di mercato, perché le preferenze dei partecipanti sui libri potevano essere valutate sulla base di un elenco ordinato.
Claude ha rispecchiato le classifiche dei lettori nel 61% dei casi
Tra i 188 partecipanti che hanno inviato le proprie classifiche, l’ordine assegnato da Claude alle coppie di libri corrispondeva alle preferenze personali nel 61% dei casi; tirare a indovinare avrebbe dato un risultato del 50%. Una classifica basata sulla popolarità ha raggiunto circa il 53%, mentre un approccio di filtraggio collaborativo basato sui libri valutati dalle persone è arrivato a circa il 55%. Le conversazioni iniziali dei partecipanti erano brevi: la persona mediana ha scritto 216 parole in otto messaggi.
Più dettagli aiutavano. Anthropic ha rilevato che scrivere circa 300 parole invece di 150 era associato a un aumento di quattro punti percentuali nell’accordo tra le preferenze. Eppure, anche con conversazioni brevi, le stime di Claude sulle preferenze erano il principale limite agli scambi finali, non una semplice incapacità di negoziare.
Una migliore negoziazione non poteva correggere una classifica sbagliata
I partecipanti hanno ottenuto un punteggio medio di 0,55 in base alle proprie classifiche, dove 1 rappresentava la scelta preferita e 0 quella meno gradita. La migliore assegnazione possibile ha ottenuto 0,89. Calcolando la migliore assegnazione in base alle preferenze stimate da Claude e valutandola poi rispetto alle classifiche effettive delle persone, i ricercatori hanno ottenuto un punteggio di 0,60; Anthropic ha attribuito l’85% del divario complessivo a quelle stime imprecise e il 15% al processo di scambio decentralizzato.
Gli agenti hanno usato 16 tattiche ricorrenti, tra cui fare leva sulla pressione del tempo e sul senso del dovere, proporre un libro contrapponendolo ad altre offerte e fare da intermediari per persone che non rappresentavano. A seconda del modello, dal 78% al 96% degli agenti ha menzionato durante la negoziazione il libro classificato al primo posto dalla persona rappresentata. Raramente hanno mentito su quella scelta: tra gli agenti che l’hanno dichiarata, circa uno su 100 ha indicato falsamente il libro preferito.
I dipendenti affiderebbero a un agente il 30% del budget per i libri
In un sondaggio successivo, i partecipanti che hanno risposto hanno dato ai libri un voto medio di 7,2 su 10 e circa la metà ha detto che il libro era migliore della maggior parte di quelli che avrebbe scelto autonomamente. Alla domanda su quale quota del budget per i libri dell’anno successivo avrebbero lasciato gestire a un agente, senza possibilità di porre il veto alle sue scelte, la risposta media è stata circa il 30%. Per un amico che legge molto e conosce i loro gusti, i partecipanti hanno indicato in media il 40%.
Questi dati hanno dei limiti: i dipendenti di Anthropic potrebbero essere più disposti a fidarsi di Claude rispetto al pubblico generale e solo il 59% dei dipendenti ha risposto al sondaggio finale. Gli agenti erano inoltre basati su modelli di Claude in produzione, sottoposti a un ulteriore addestramento per essere cortesi e in larga misura collaborativi; lo studio non ha verificato come agenti antagonisti avrebbero potuto influire sui risultati.
«Mi chiedo come gli agenti del futuro che negozieranno per me in situazioni con conseguenze più rilevanti potrebbero adempiere meglio ai loro doveri fiduciari, ma riconosco anche che a volte è necessario scendere a compromessi per il bene comune.»
Partecipante a Project Swap, citato da Anthropic
Il commento è seguito alla frustrazione di un partecipante perché il suo agente aveva rinunciato a un libro che desiderava per uno che gli piaceva meno «per la pressione degli altri». Anthropic afferma che l’esperimento lascia aperta la questione di come i mercati dovrebbero stabilire le regole per gli agenti che agiscono per conto di persone diverse, anche per quanto riguarda ciò che i partecipanti possono vedere e quante informazioni gli agenti dovrebbero comunicare. Project Swap ha testato il baratto di libri tra dipendenti dell’azienda, non gli acquisti o gli scambi finanziari; il risultato più chiaro è che la capacità di un agente di rappresentare i gusti di una persona può contare più della sua abilità nel negoziare.