Pensare in modo denso, agire in modo sparso: catene cognitive latenti di esperti per la guida autonoma basata su visione, linguaggio e azione

Abstract degli autori

La guida autonoma richiede una comprensione densa delle informazioni visive, semantiche e geometriche. Eppure, i modelli visione-linguaggio-azione (VLA) esistenti sono generalmente addestrati con una supervisione sparsa, come istruzioni linguistiche o segnali relativi alle traiettorie. Questa associazione diretta tra osservazioni visive dense e rappresentazioni sparse costringe il modello a comprimere, o persino a scartare, informazioni cruciali sulla scena, essenziali per una guida sicura. Sosteniamo che questo limite non derivi da una capacità insufficiente del modello, ma dalla mancanza di meccanismi espliciti che favoriscano la formazione di rappresentazioni dense del mondo nello spazio latente. In quest’ottica proponiamo un nuovo paradigma per l’intelligenza di guida, Pensare in modo denso, agire in modo sparso, e lo concretizziamo in un framework efficiente e interpretabile, LECDrive (Latent Expert Cognitive Chains for Vision-Language-Action autonomous Driving). L’idea centrale è imitare il processo gerarchico della percezione umana incorporando nel modello VLA una catena progressiva di processi cognitivi latenti di esperti. In concreto, introduciamo un insieme compatto di token latenti specifici per ciascun compito, che fungono da veicoli per consentire al modello di interiorizzare conoscenze dense provenienti da modelli fondamentali di visione artificiale, tra cui rappresentazioni visive (DINOv3), strutture semantiche (SAM3) e geometria spaziale (DepthAnything3), mantenendo efficiente l’inferenza. Questa catena cognitiva interdipendente segue un principio di apprendimento curricolare, in cui la supervisione è strutturata progressivamente dalla rappresentazione alla semantica e alla geometria. Esperimenti approfonditi dimostrano che LECDrive migliora sistematicamente le prestazioni dei VLM di base in diversi benchmark di guida autonoma, relativi a compiti fondamentali come la percezione degli oggetti, la previsione degli stati e la pianificazione delle traiettorie. Questi risultati indicano che costruire modelli densi del mondo attraverso catene strutturate di processi cognitivi latenti di esperti è una direzione promettente per la guida autonoma basata su VLA.