Scene-Adaptive VLA: guida autonoma efficiente grazie all’instradamento dinamico dei livelli

Abstract degli autori

I modelli Vision-Language-Action (VLA) offrono un approccio promettente alla guida autonoma. Tuttavia, il loro enorme numero di parametri mette a dura prova le risorse di calcolo a bordo durante l’inferenza in tempo reale. Ciò aumenta direttamente il consumo energetico e limita l’autonomia della batteria del veicolo: è quindi fondamentale ridurre al minimo il carico computazionale senza compromettere le capacità di guida e la spiegabilità. La ricerca attuale sulla guida efficiente basata su modelli VLA si concentra sull’adattamento sequenziale (\textit{e.g.}, Chain-of-Thought e regolazione dei token), mentre l’adattamento strutturale resta poco esplorato, nonostante la ridondanza dei parametri nelle scene di guida dinamiche. Per colmare questa lacuna, proponiamo Scene-Adaptive VLA, un framework efficiente che sfrutta l’instradamento dinamico dei livelli per adattare i parametri attivi in base alle scene in tempo reale. Ispirandosi alla continuità temporale delle scene e all’incertezza predittiva del modello, il nostro approccio caratterizza la complessità della scena percepita dal modello attraverso le variazioni temporali della scena a livello di fotogramma e gli scostamenti delle decisioni. Per individuare le corrispondenze latenti tra scene e parametri, codifichiamo questa caratterizzazione in token sensibili alla scena, insieme a due query specializzate. Un meccanismo di instradamento dei livelli condizionato dal budget valuta queste query così perfezionate per assegnare un budget che determina la quota di parametri attivi e seleziona poi le combinazioni di livelli appropriate. L’intero framework è ottimizzato end-to-end. Valutazioni approfondite sul benchmark Bench2Drive mostrano che, applicato a un modello VLA all’avanguardia, il nostro approccio riduce significativamente il carico computazionale durante l’inferenza del 53,5\%, con un peggioramento trascurabile delle capacità di guida e linguistiche. Il codice è disponibile all’indirizzo https:github.com/yang-luvu/Scene-Adaptive-VLA.