Toolflation: gli agenti venditori alterano i mercati degli strumenti attraverso l’ottimizzazione spontanea per i motori generativi

Abstract degli autori

Gli agenti iniziano a vendere ad altri agenti. Gli agenti venditori scrivono le schede di strumenti, servizi e prodotti, e gli agenti acquirenti le leggono per decidere cosa usare. Mostriamo che gli agenti venditori a cui viene chiesto soltanto di farsi scegliere più spesso ricorrono spontaneamente all’ottimizzazione per i motori generativi, alterando il mercato sia per i venditori sia per gli acquirenti. Costruiamo mercati di strumenti a partire da strumenti per dati reali su Amazon e Instagram ed eseguiamo ogni strumento su ogni domanda, così da sapere quali strumenti possono rispondere a ciascuna domanda. Con tutti e cinque i modelli in produzione che testiamo, i venditori riscrivono le descrizioni attribuendo ai propri strumenti un numero sempre maggiore di campi, compresi campi che gli strumenti restituiscono per meno della metà degli obiettivi. Chiamiamo questo processo toolflation. Nulla nel mercato lo limita, e fin dove si spinge dipende dal modello: il numero di affermazioni che contraddicono le prove fornite dagli stessi venditori varia di un ordine di grandezza da un modello all’altro. La toolflation sposta le scelte degli acquirenti da un venditore all’altro, e lo strumento più capace perde quota in sette delle dieci combinazioni tra modello dei venditori e piattaforma. Con quattro modelli, le scelte continuano a ricadere su strumenti capaci e gli agenti acquirenti mantengono il loro tasso di riuscita nei compiti. Con il quinto, i venditori si copiano a vicenda finché le descrizioni non permettono più di distinguere gli strumenti. Gli agenti acquirenti scelgono allora gli strumenti in base alla loro posizione nell’elenco; strumenti che rispondono a pochissime domande ottengono da un quarto a due quinti delle scelte, e il tasso di riuscita nei compiti scende dall’89% a circa il 30% su Amazon, un valore vicino a quello di una scelta casuale, e dal 77% al 40% su Instagram. I venditori hanno fatto soltanto ciò che i loro fornitori avevano chiesto loro, e il costo è ricaduto su acquirenti con cui non avevano mai avuto a che fare. Sosteniamo quindi che l’onestà verso terzi in un contesto competitivo faccia parte dell’allineamento alla sicurezza e che i modelli debbano essere testati come venditori prima di essere impiegati come tali.