Giudicati inutili, interrogati comunque: gli agenti che usano strumenti raramente trasformano le proprie valutazioni delle evidenze in decisioni di fermarsi

Abstract degli autori

Un agente il cui strumento continua a non restituire nulla di utile dovrebbe smettere di affidarsi a quello strumento. In un ambiente di recupero delle informazioni in cui i guasti delle fonti sono controllati, distinguiamo il modo in cui gli agenti valutano i risultati da ciò che fanno. Confrontiamo la decisione di fermarsi allo stesso passaggio dopo serie più lunghe e più brevi di risultati che l’agente ha giudicato inutili: questa differenza è pari a zero se l’arresto dipende dal tempo trascorso o da una scadenza. Nei casi in cui registriamo le loro valutazioni, i sette agenti che testiamo giudicano inutili i risultati di una fonte che non funziona nel 97-100% dei casi, eppure la maggior parte di loro raramente si ferma sulla base di quel giudizio. Le indicazioni nel prompt cambiano quando si fermano, ma non ciò che li induce a fermarsi. Il permesso di rispondere attingendo alla memoria e una modalità di ragionamento possono indurli a fermarsi presto indipendentemente dalle evidenze; un budget dichiarato sposta l’arresto dei modelli 7-8B alla scadenza; una regola di arresto o un costo per chiamata indicati nel prompt vengono rispettati solo in parte, se mai. L’arresto segue le evidenze solo quando il sistema di test impone un passaggio di integrazione che fa rispondere l’agente dopo cinque risultati consecutivi da lui giudicati inutili. Questo passaggio aumenta il tasso di successo con una fonte che non funziona per ogni modello, mantiene fisso il punto di arresto quando il budget raddoppia e non richiede alcuna valutazione aggiuntiva quando l’agente esplicita le proprie valutazioni. Una replica preregistrata su 300 nuove domande conferma la dissociazione e l’effetto della regola.