Dai fallimenti a mondi da cui imparare: generazione di ambienti condizionata dalla policy per agenti di navigazione

Abstract degli autori

Gli ambienti simulati consentono di generare dati di addestramento su larga scala per gli agenti dotati di un corpo, ma una maggiore quantità di dati non fornisce necessariamente ciò di cui un determinato agente ha bisogno per imparare. Le pipeline esistenti per la generazione di ambienti ottimizzano soprattutto proprietà generiche come il realismo, la diversità o la copertura dei compiti, mentre policy preaddestrate diverse possono fallire per ragioni ambientali diverse. Presentiamo quindi WEDGE, un framework per l’apprendimento della navigazione guidato dai punti deboli, in cui le modalità di fallimento di un agente preaddestrato orientano la generazione degli ambienti di addestramento a ogni ciclo di adattamento. Data una policy preaddestrata, WEDGE usa un LLM per proporre caratteristiche eseguibili che individuano i punti deboli confrontando esecuzioni riuscite e fallite, le convalida automaticamente sull’insieme diagnostico e seleziona il punto debole convalidato più marcato in base alla differenza nei tassi di successo. I punti deboli convalidati vengono poi associati ai fattori ambientali che li determinano. WEDGE varia questi fattori per costruire ambienti nelle fasce di difficoltà in cui la policy incontra problemi, producendo esperienze di addestramento mirate per l’adattamento. Esaminando tre agenti di navigazione con meccanismi di adattamento diversi, riscontriamo che le policy presentano profili di debolezza distinti e traggono beneficio da ambienti di addestramento diversi. Su ProcTHOR, l’adattamento condizionato dai punti deboli supera sistematicamente alternative comparabili basate sulla selezione casuale e su esempi difficili; per Uni-NaVid e Gemini, i miglioramenti ottenuti si estendono anche a HM3D dopo l’adattamento su ProcTHOR. Ripetere la diagnosi a ogni ciclo mostra inoltre che i punti deboli dominanti possono persistere o cambiare man mano che la policy migliora, fornendo indicazioni aggiornate per la successiva costruzione degli ambienti. Nel complesso, questi risultati mostrano che i fallimenti di una policy non sono soltanto segnali diagnostici, ma anche indicazioni operative per costruire ambienti di addestramento mirati ai suoi punti deboli attuali.