Quando la selezione sostituisce l’estrazione? Un test preregistrato della memoria degli agenti con un modello decisionale tipizzato

Abstract degli autori

La memoria conversazionale ha bisogno di fatti estratti da un LLM, o basta selezionare i turni originali giusti? I risultati pubblicati sono discordanti. I sistemi basati sull’estrazione segnalano miglioramenti grazie a fatti distillati. Studi recenti rilevano che anche la cronologia originale, se ben ordinata per rilevanza, funziona altrettanto bene, ma non concordano sull’importanza di tale ordinamento. Abbiamo condotto uno studio preregistrato su conversazioni LoCoMo tenute da parte e su LongMemEval. Con un budget ristretto su LoCoMo, i turni originali selezionati con una sola chiamata a Jev, un modello decisionale tipizzato, non sono inferiori a una memoria basata sull’estrazione tramite LLM (limite unilaterale al 95% di -3,0 punti rispetto a un margine di -5 punti). La valutazione umana in cieco restringe il margine, ma non cambia il risultato. Scrivere i turni originali costa 3.061 volte meno, e il risultato si conferma con un secondo modello di risposta. In questo studio, il vantaggio del riordinamento per rilevanza diminuisce all’aumentare del budget: aggiunge 17,4 punti su LoCoMo e 9,1 su LongMemEval quando si conservano tre candidati su 30. Con budget generosi, aggiunge rispettivamente 1,5 e 1,1 punti, e i sistemi basati sull’estrazione sono più accurati. Questo potrebbe spiegare perché i risultati pubblicati sono discordanti. A parità di contesto, Jev seleziona con la stessa accuratezza di un modello LLM che riordina i candidati (limite di non inferiorità di -2,0), con un terzo della latenza, e con maggiore accuratezza rispetto all’attraversamento di un grafo che richiede più chiamate. Il riordinamento per rilevanza riduce le astensioni corrette. Sono stati resi disponibili i piani, il codice e le risposte valutate.