The Pulse
IBM porta GPT-4.1 al primo posto nel retail di τ²-bench grazie alla memoria appresa
IBM Research afferma che il suo sistema ALTK-Evolve ha portato un agente di assistenza clienti basato su GPT-4.1 a un punteggio Pass⁴ del 67,5% nel retail di τ²-bench, superando tutte le voci della classifica nella fotografia usata per il c
AI.info Team · Scritto con l’IA · verificato ·
«L’unica modifica che apportiamo è un blocco di linee guida apprese aggiunto al prompt di sistema: tutto il resto (policy, strumenti, struttura dell’agente) è quello standard di τ²-bench.»
Ashwath Vaithinathan Aravindan, Vatche Isahagian, Vinod Muthusamy, Jayaram Radhakrishnan, Evelyn Duesterwald, Gaodan Fang, Punleuk Oum, G Thomas, Michał Ulewicz, Merve Unuvar e Ayhan Sebin, IBM Research
IBM Research afferma che il suo sistema di memoria ALTK-Evolve ha aiutato un agente che usa GPT-4.1 a raggiungere un punteggio Pass⁴ del 67,5% nel retail di τ²-bench, superando tutte le voci relative al retail nella fotografia della classifica usata dal team. Il risultato, pubblicato il 20 ottobre, deriva dall’aggiunta di brevi linee guida ricavate dai precedenti tentativi dell’agente di svolgere i compiti, non da un aggiornamento dei pesi del modello.
Il punteggio va contestualizzato: Pass⁴ considera superato un compito solo se l’agente riesce in tutti e quattro i tentativi. IBM riporta il 67,5% per l’intera suddivisione base del benchmark, che comprende compiti di addestramento e di test, e lo confronta con una fotografia della classifica datata 12 ottobre. Su un insieme separato di 40 compiti di retail tenuti da parte per il test, la stessa configurazione con GPT-4.1 è passata dal 57,5% al 67,5% Pass⁴ quando IBM ha aggiunto l’insieme completo delle linee guida apprese.
Regole apprese dalle precedenti interazioni con i clienti
ALTK-Evolve analizza i tentativi dell’agente sui compiti di addestramento e ricava regole di comportamento dai successi e dagli insuccessi ricorrenti. Gli esempi includono l’autenticazione dei clienti prima di intervenire sugli ordini, la richiesta di un’approvazione esplicita prima di modificare un database e la spiegazione dei rimborsi per i resi con un dettaglio delle singole voci. IBM ha usato GPT-4.1 sia per produrre le linee guida sia per far funzionare l’agente nel retail, poi ha aggiunto le regole al prompt di sistema standard.
Il benchmark mette alla prova gli agenti in conversazioni di assistenza clienti nei settori del retail e delle compagnie aeree. Un cliente simulato ha un obiettivo, l’agente può usare strumenti per attività come la ricerca degli ordini o i rimborsi, e una policy scritta limita ciò che può fare. Un compito viene superato solo se lo stato finale del database corrisponde al risultato atteso: una conversazione scorrevole, da sola, non basta.
IBM afferma che il test ha usato la struttura standard dell’agente ReAct di τ²-bench, con GPT-5.5 a simulare il cliente e quattro tentativi per compito. Il team ha generato le linee guida dai compiti di addestramento e le ha applicate senza modificarle ai compiti tenuti da parte per il test. Descrive il metodo come privo della necessità di annotazioni umane e di contaminazioni dovute all’uso del set di test.
L’affidabilità nel retail è aumentata, ma il prompt completo è costato di più
Sui 40 compiti di retail tenuti da parte per il test, la configurazione completa «senza perdita» ha conservato 292 linee guida e ha portato l’accuratezza media dal 78,1% all’82,5%. Il Pass⁴ è aumentato di 10 punti percentuali, dal 57,5% al 67,5%. Una configurazione più piccola ha mantenuto solo 31 linee guida, ciascuna supportata da almeno tre compiti di addestramento distinti; ha raggiunto il 60% Pass⁴, con un guadagno di 2,5 punti rispetto alla configurazione di base.
I miglioramenti hanno comportato una spesa riportata più elevata per il modello linguistico. Nella tabella dei costi relativa all’intera suddivisione base, IBM indica per il retail un costo per conversazione di 0,084 dollari nella configurazione di base e di 0,139 dollari con quella a 292 regole, un aumento del 65%. Tuttavia, il team afferma che, in test a parità di condizioni, le indicazioni aggiuntive non hanno allungato le conversazioni: quelle di retail risolte con entrambe le configurazioni hanno richiesto in media 10,59 turni dell’assistente nella configurazione di base e 10,16 con l’insieme completo delle linee guida.
Il confronto con la classifica riguarda due modelli e due settori
Per il confronto nel retail, IBM usa GPT-4.1, che gli autori descrivono come un modello precedente, non di ragionamento. Riportano che il suo risultato Pass⁴ del 67,5% supera il 61,4% di RAFT-30B-A3B; IBM precisa che RAFT è stato sottoposto a fine-tuning su dati sintetici del retail di τ²-bench. Il team afferma che il proprio punteggio era il più alto tra le voci relative al retail nella fotografia del 12 ottobre, ma il confronto si riferisce a quella fotografia riportata da IBM, non agli eventuali cambiamenti successivi della classifica.
I risultati nel settore delle compagnie aeree mostrano che la configurazione migliore del metodo dipende dal compito. Sui compiti di questo settore tenuti da parte per il test, un insieme compatto di 14 linee guida ha raggiunto il 45% Pass⁴ con GPT-4.1, mentre l’insieme più ampio ha raggiunto il 40%, contro il 35% della configurazione di base. In un confronto separato con la classifica, IBM riporta il 44% per l’agente con GPT-4.1 e l’82% per un agente che usa GPT-5.5; quest’ultimo era al primo posto tra le voci relative alle compagnie aeree nella fotografia della classifica.
La memoria migliora il prompt, non il modello sottostante
La conclusione dello studio è più circoscritta dell’affermazione secondo cui la memoria renderebbe un agente più capace in ogni situazione: mostra miglioramenti in due settori di un benchmark di assistenza clienti basato su policy, nelle condizioni di test specificate da IBM. I risultati variano in base al modello, alla quantità di indicazioni e alla metrica; sui compiti del settore aereo tenuti da parte per il test, per esempio, l’affidabilità è stata maggiore con l’insieme più piccolo di regole per GPT-4.1.
Per i team aziendali, il compromesso riportato è concreto. ALTK-Evolve aggiunge un repertorio riutilizzabile di regole senza fine-tuning né etichettatura manuale, ma il prompt più lungo per il retail aumenta il costo misurato per conversazione. Il risultato nel retail con GPT-4.1 messo in evidenza da IBM è il 67,5% Pass⁴ nel confronto sull’intera suddivisione base, contro il 61,4% di RAFT-30B-A3B.