Preferenze per le fonti nella pratica: come gli agenti basati su LLM favoriscono gli elementi in base alla fonte e come ridurre questo effetto

Abstract degli autori

Quando gli agenti basati su LLM decidono per conto degli utenti quale prodotto acquistare, quale hotel prenotare o quale articolo scientifico citare, la preferenza per gli elementi provenienti da determinate fonti (i siti o i servizi da cui provengono) influisce su ciò che gli utenti ricevono e sulle fonti selezionate. Studiamo questa preferenza nelle ricerche end-to-end, usando 12 modelli di agenti in tre ambiti. Confrontando elementi di fonti diverse che soddisfano gli stessi requisiti e occupano la stessa posizione, osserviamo che in ogni ambito ciascun modello preferisce alcune fonti e ne evita altre, con un ampio accordo su quali siano. Questa preferenza può contare più della capacità degli elementi di soddisfare la richiesta: quando un elemento soddisfa un requisito in meno ma proviene da una fonte preferita, mentre quello migliore proviene da una fonte poco gradita, viene selezionato circa due terzi delle volte; nel caso inverso, quasi mai. Le informazioni che identificano la fonte di un elemento influiscono di per sé sulla selezione: nasconderle attenua la preferenza e attribuire all’elemento l’etichetta di una fonte preferita ne aumenta il tasso di selezione. Esaminiamo due possibili vie attraverso cui nasce questa preferenza: un addestramento che premia gli elementi migliori può trasformare la fonte in una scorciatoia per valutare il soddisfacimento dei requisiti, mentre la mancanza di informazioni può attivare preconcetti sulla fonte. Fornire le informazioni mancanti o un prompt che contrasti questi preconcetti riduce la preferenza per le fonti.