OpenFlyV2: un modello di visione-linguaggio-azione a bordo per la percezione e la navigazione aeree

Abstract degli autori

La cognizione umana attinge con flessibilità a una base percettiva condivisa per comprendere gli ambienti, prestare attenzione alle entità menzionate, ragionare sulle relazioni spaziali e agire. Dotare i robot aerei di un’organizzazione funzionale analoga rimane difficile: i sistemi esistenti sono spesso specializzati in singole capacità, dipendono da elaborazione esterna oppure non sono in grado di sostenere un funzionamento a ciclo chiuso su piattaforme con risorse limitate. Presentiamo OpenFlyV2, un’architettura unificata di visione-linguaggio-azione a bordo che utilizza una rappresentazione condivisa di visione-linguaggio per supportare la comprensione semantica, la percezione ancorata al linguaggio, il ragionamento spaziale e il controllo aereo continuo all’interno di un unico modello. Un compatto esperto d’azione converte il contesto multimodale condiviso in waypoint di volo su orizzonti temporali brevi, mentre una memoria temporale consapevole del movimento e prior sulle azioni riducono il costo computazionale dell’esecuzione a ciclo chiuso. Realizziamo \dataset{}, un dataset basato sulla simulazione che comprende circa 70.000 traiettorie di navigazione e 60.000 coppie istruzione--risposta di visione-linguaggio. OpenFlyV2 genera a bordo, interamente e a 10 Hz, blocchi di azioni composti ciascuno da 12 waypoint, utilizzando un NVIDIA Jetson Orin NX. Si trasferisce zero-shot dalla simulazione al volo di un quadricottero fisico, raggiungendo un tasso di successo nella navigazione del 48\% in quattro ambienti del mondo reale, senza dati di addestramento aereo raccolti nel mondo reale. I risultati estesi dimostrano che un’ampia competenza di visione-linguaggio e il volo continuo a ciclo chiuso possono coesistere in un unico modello su una piattaforma aerea con risorse limitate. Il codice sarà reso pubblicamente disponibile all’indirizzo https://github.com/Ideal-ljl/AeroBrain.