Transformer decisionale guidato dalla fiducia

Abstract degli autori

Le prestazioni di Decision Transformer peggiorano nei rollout lunghi perché il contesto usato per il condizionamento si allontana dalla distribuzione dei dati di addestramento. Mostriamo che questo scostamento è rilevabile attraverso l’errore di previsione dello stato successivo del modello stesso, che aumenta durante il rollout e rimane elevato: un segnale diretto del fatto che il contesto è diventato inaffidabile. Presentiamo Trust Guided Decision Transformer (TGDT), che seleziona il contesto prima di applicare la guida basata sul valore. A ogni passo, TGDT valuta diversi suffissi recenti del contesto usando l’errore di previsione dello stato successivo calcolato su una finestra mobile, calibrato su dati offline tenuti da parte mediante predizione conforme con suddivisione del campione. Mantiene soltanto i suffissi il cui errore resta entro la soglia calibrata, poi usa un critico congelato per scegliere, tra i suffissi ritenuti affidabili, l’azione dal valore più alto. Questo inverte l’ordine della selezione elastica basata sul solo valore, nella quale il critico può scegliere un’azione generata da un contesto che il modello stesso ha segnalato come inaffidabile. Gli esperimenti su attività di navigazione e locomozione di D4RL mostrano che la previsione dello stato, la guida del critico e l’azzeramento completo del contesto risolvono ciascuno solo una parte del problema. TGDT riduce le sequenze persistenti di errori elevati e migliora il ritorno rispetto a Decision Transformer nella versione standard, al controllo del contesto basato sull’azzeramento e alla selezione del contesto basata sul solo valore.