Dai pixel alle azioni – verso policy native di visione-linguaggio-azione

Abstract degli autori

I modelli di visione-linguaggio-azione si basano di norma su una premessa semplice: la percezione viene prima compressa da encoder visivi, e solo in seguito inizia il ragionamento sulle azioni. Eppure, spesso la manipolazione dipende proprio dai segnali visivi più vulnerabili a questa astrazione, come la geometria locale, i confini, la profondità e i cambiamenti sottili di stato. Questo solleva una domanda fondamentale: le policy d’azione dovrebbero ereditare un endpoint visivo fisso o accedere direttamente a un’elaborazione visiva in evoluzione? Presentiamo NEO-VLA, un framework di visione-linguaggio-azione strutturalmente privo di encoder. Le immagini vengono tokenizzate tramite leggeri strati convoluzionali a patch e si evolvono congiuntamente al linguaggio lungo tutto il backbone, consentendo a un esperto d’azione basato su flow matching di attingere a rappresentazioni visive condizionate dalle istruzioni a diverse profondità. Questo semplice cambiamento rivela uno schema ricorrente. Nelle comparazioni controllate, le architetture native superano le controparti basate su encoder; il fine-tuning completo riduce il divario, ma non lo annulla, e un ulteriore aumento di scala, da solo, non riesce a colmarlo. Ancora più sorprendentemente, le analisi a livello di layer mostrano che i segnali fondamentali per l’azione spesso raggiungono il picco ben prima della rappresentazione visiva finale. In diversi contesti di manipolazione e in presenza di shift di distribuzione, NEO-VLA ottiene di conseguenza un controllo più efficace e robusto. Nel loro insieme, questi risultati suggeriscono che il controllo incarnato tragga beneficio dall’accesso a rappresentazioni visive distribuite lungo la gerarchia computazionale, anziché a un output fisso dell’encoder.