Un’azione sicura non basta: decodifica dei futuri praticabili per le policy visione-linguaggio-azione

Abstract degli autori

Un’azione sicura non è necessariamente praticabile. Una policy visione-linguaggio-azione (VLA) congelata può preferire una mossa ammissibile nell’immediato che non lasci alcun percorso supportato dalla policy per completare il compito in sicurezza. Chiamiamo questo scarto tra fattibilità e verosimiglianza: la verosimiglianza ordina le possibili mosse successive, mentre la fattibilità dipende dai futuri che ciascuna lascia aperti. Per includere tali futuri nella decisione, ricaviamo la marginale esatta del blocco successivo della distribuzione delle traiettorie della policy e dell’ambiente, condizionata alla storia e limitata ai completamenti sicuri del compito. La derivazione rivela una massa di futuri praticabili che dipende dal candidato: il suo supporto indica se completare il compito in sicurezza resta possibile con il processo di continuazione congelato, mentre la sua entità misura quanta massa ponderata di completamenti sicuri rimane. Poiché una valutazione esatta online non è praticabile, sviluppiamo un’approssimazione selettiva basata su un numero finito di candidati e stabiliamo le condizioni per individuare il miglior candidato praticabile tra quelli conservati. Il nostro sistema di riordinamento dei candidati VICS-G, attivato da un allarme e senza addestramento, riduce il costo cumulativo medio per la sicurezza dall’1,9% al 57,5% in sei configurazioni Safety-CHORES, mantenendo rispetto al campionamento della policy uno scarto non superiore a 2,5 punti percentuali nel successo e a 0,82 passi nella durata media degli episodi. Il nostro approccio offre una strada promettente e pratica per completare i compiti in maggiore sicurezza: si fonda su un obiettivo esatto relativo alla policy, ma non richiede né di riaddestrarla né di eseguire rollout online.