The Pulse

SB Intuitions esplora i prior visivi per l’apprendimento delle azioni dei robot

SB Intuitions sta esplorando se i prior visivi e la previsione visiva possano migliorare l’apprendimento delle azioni, usando la manipolazione robotica come banco di prova a valle. Gli esperimenti con Latent-WAM esaminano le architetture di

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

SB Intuitions sta esplorando se i prior visivi e la previsione possano migliorare l’apprendimento delle azioni, usando la manipolazione robotica come banco di prova a valle. La ricerca si chiede se le dinamiche delle scene e le rappresentazioni visive future possano fornire segnali utili per generare azioni migliori. Il framework sperimentale Latent-WAM riunisce la previsione visiva e la generazione delle azioni in uno spazio latente condiviso.

I principali contributori sono Chen Zhu e Gang Yan, con Shiqi Yang alla guida del progetto. Il team ha iniziato esplorando gli approcci Vision-Language-Action (VLA) e World-Action Model (WAM), tra cui π₀.₅, GWP e LingBot-VA. Ha valutato questi approcci sulla piattaforma SBInt/OpenArm usando dimostrazioni robotiche raccolte internamente per un compito in più fasi: collocare oggetti in una scatola e chiuderne il coperchio.

Latent-WAM prevede le rappresentazioni visive future, non i pixel futuri

Il modello usa un encoder V-JEPA 2 congelato per trasformare le osservazioni in token visivi, mentre gli esperti visivi e delle azioni, addestrabili, condividono la self-attention. Invece di ricostruire i frame futuri, Latent-WAM prevede le rappresentazioni visive a 12, 24, 36 e 48 frame di distanza. Il suo predittore e i componenti dedicati alle azioni contengono circa 145 milioni di parametri.

Per il pre-addestramento, il team ha combinato AgiBot Alpha, RDT-ALOHA e RoboMIND agilex, per un totale iniziale di 608,8 ore. Ha poi ampliato i dati di AgiBot con AgiBotWorld-Beta, portando il totale ampliato a circa 2.716,5 ore. AgiBotWorld-Beta include già Alpha, che quindi viene conteggiato una sola volta nel totale ampliato. Il team mappa anche le azioni dei robot in una rappresentazione condivisa a 16 dimensioni, con mappature specifiche per ciascuna configurazione fisica e maschere di validità per le differenze tra piattaforme.

L’attenzione bidirezionale raggiunge il tasso medio di successo più alto su tre benchmark LIBERO

Gli esperimenti su tre benchmark LIBERO hanno mostrato che l’attenzione bidirezionale ha raggiunto il tasso medio di successo più alto, il 94,7%, contro il 92,0% dei rami indipendenti. Il confronto ha riportato anche il 92,3% per Video → Action e l’89,3% per Action → Video. Ogni suite comprendeva 10 compiti × 10 prove, con seed 0, checkpoint 50k, replan 10 e wait 30.

La differenza era particolarmente evidente su LIBERO Goal: l’interazione bidirezionale ha raggiunto un tasso di successo del 93%, contro l’86% ottenuto quando solo le azioni potevano leggere le previsioni visive. Nella configurazione Action → Video, le query visive future leggono i token delle azioni, mentre la generazione delle azioni non dipende dalle query visive future. Sebbene l’attenzione bidirezionale abbia raggiunto il tasso di successo più alto, il team ha adottato Action → Visual per dare priorità all’efficienza dell’inferenza; ciò consente di saltare il ramo di previsione del futuro durante l’inferenza.

Esplorare la memoria visiva per prevedere le azioni

Il team ha sperimentato la memoria visiva su RememberColor3, dove un robot deve conservare un’indicazione cromatica ricevuta in precedenza e usarla successivamente per selezionare un oggetto. Ha confrontato la memoria dell’intera cronologia, che può prestare attenzione alle caratteristiche visive precedenti, con la memoria compatta, che recupera la cronologia rilevante e la combina con le caratteristiche attuali attraverso un meccanismo di controllo appreso. Gli esperimenti hanno anche mostrato che riconoscere l’indicazione non significava necessariamente che la policy selezionasse l’oggetto corretto.

Con la procedura aggiornata di addestramento basata sui dati di esperti relativi ai casi di insuccesso e su DiffusionNFT, il tasso di successo su RememberColor3 è passato dal 68,5% all’86,0% sullo stesso blocco di seed da 200 episodi. Con questa procedura, la memoria dell’intera cronologia ha raggiunto l’86,0%, contro l’81,0% della memoria compatta. Il miglioramento è attribuibile alla procedura aggiornata che usa i dati di esperti sui casi di insuccesso e il riaddestramento NFT.

In RoboTwin, il tasso di successo nei rollout di addestramento per click-bell è salito dal 68,8% al 96,9% in pochi cicli di addestramento. Il compito turn-switch ha faticato a migliorare in modo costante con 64 rollout per ciclo; dopo che il numero di rollout è stato aumentato a 512 per ciclo, il tasso di successo è salito all’80,5%, con un picco dell’84,0%. Si trattava di risultati dei rollout di addestramento, non di valutazioni indipendenti su dati esclusi dall’addestramento, e l’esecuzione ampliata di turn-switch era ancora in corso.

Gli esperimenti iniziali con RoboTTT non hanno ancora dimostrato miglioramenti costanti nel successo dei compiti

SB Intuitions ha sviluppato un primo prototipo di addestramento in fase di test chiamato RoboTTT. Dopo ogni blocco di azioni, il sistema confronta le rappresentazioni visive future previste con le osservazioni effettivamente ricevute e usa la differenza come segnale di apprendimento autosupervisionato. Gli esperimenti iniziali non hanno ancora dimostrato miglioramenti costanti nel successo dei compiti.