The Pulse
Kyutai presenta REKI, un modello da 2,4 miliardi di parametri per le azioni robotiche
Kyutai ha presentato REKI, un modello visione-linguaggio-azione da 2,4 miliardi di parametri, addestrato su dati pubblici per la manipolazione robotica. Nei test RoboTwin, la sua memoria con cache riduce i movimenti ripetitivi del braccio,
AI.info Team · Scritto con l’IA ·
REKI predice un blocco di azioni robotiche in 21,8 millisecondi su una Nvidia H100, secondo un test di inferenza condotto da Kyutai con codice compilato. Il modello da 2,4 miliardi di parametri, presentato il 16 ottobre dal laboratorio con sede a Parigi insieme ai partner di ricerca Inria ed École nationale des ponts et chaussées, combina immagini delle telecamere e un’istruzione scritta per guidare un robot. Kyutai afferma che il suo modello è più piccolo dei sistemi con cui lo confronta su due benchmark, pur eguagliandone o superandone i risultati in diversi test.
Una memoria integrata nel modulo esperto per le azioni
REKI abbina un modello visione-linguaggio Qwen3.5-2B a un modulo esperto per le azioni da 200 milioni di parametri basato sul flow matching. Il primo componente codifica le immagini delle telecamere e l’istruzione relativa al compito; il modulo esperto usa queste informazioni, insieme allo stato del robot, per predire il movimento. Anziché aggiungere un modulo di memoria separato, REKI usa token registro appresi nel modulo esperto per conservare sintesi delle osservazioni recenti.
Il modello è addestrato su finestre di tre fotogrammi, acquisiti a un secondo di distanza l’uno dall’altro. Durante l’inferenza, memorizza queste sintesi nella cache e le riutilizza nei blocchi di azioni successivi. Kyutai afferma che una memoria di tre fotogrammi aggiunge circa 0,1 millisecondi alla lettura dei registri nella cache e richiede circa 2 MiB di memoria GPU per ogni fotogramma precedente.
«Questa memoria aumenta il tasso di successo nelle simulazioni e sui robot reali, e rende le oscillazioni tra pose circa quattro volte meno frequenti.»
Juliette Marrie, Paul Pacaud, Adrien Ramanana Rahary, Shizhe Chen e Moritz Böhle, autori di «REKI: Registering Knowledge in VLAs»
Nei test RoboTwin Clean del laboratorio, gli episodi di oscillazione scendono dal 18,6% senza memoria al 4,1% con la memoria. Kyutai attribuisce il ripetuto movimento avanti e indietro all’ambiguità percettiva: due pose diverse possono entrambe sembrare il passo successivo di una dimostrazione, inducendo un sistema privo di memoria a cambiare direzione. Una breve cronologia può permettere di distinguerle.
Risultati su tre benchmark di robotica
Kyutai valuta REKI su LIBERO-Plus, RoboTwin Clean2Rand e RoboCasa365, sottoponendo il modello preaddestrato a fine-tuning separatamente per ciascun benchmark. LIBERO-Plus introduce variazioni in 40 compiti relative all’inquadratura, allo stato iniziale del robot, al linguaggio, all’illuminazione, allo sfondo, al rumore dei sensori e alla disposizione degli oggetti. RoboTwin Clean2Rand testa in condizioni randomizzate modelli addestrati su scene non modificate; RoboCasa365 valuta compiti in cucina suddivisi in gruppi atomici e compositi.
Il laboratorio riferisce che REKI ottiene il più alto tasso di successo fuori distribuzione tra i modelli preaddestrati su dati pubblici su LIBERO-Plus e RoboTwin Clean2Rand, pur essendo il più piccolo tra quelli inclusi nei suoi confronti. Su RoboCasa365, REKI ottiene un punteggio di 38,4, contro 36,0 di RLDX-1 e 35,9 di Qwen-RobotManip; Kyutai indica entrambi questi sistemi come preaddestrati su dati interni. Secondo il confronto pubblicato dal laboratorio, su RoboTwin Clean2Rand e RoboCasa365 a superare REKI sono modelli più grandi, di dimensioni pari a circa il doppio delle sue.
Il dato di 21,8 millisecondi proviene da un benchmark di laboratorio e non è una misura generale della velocità con cui un robot fisico completa un compito. Kyutai ha misurato il tempo necessario per un blocco di azioni a partire da osservazioni grezze su una singola H100, usando input LIBERO e il codice del modello compilato. Nello stesso confronto con codice compilato, il laboratorio riporta 25,5 millisecondi per X-VLA, 33,8 per π0.5, 46,1 per ABot-M0 e 51,3 per InternVLA-A1.5.
Addestramento su dati pubblici e checkpoint rilasciati
Kyutai afferma che REKI è stato preaddestrato per 200.000 passi su 32 GPU H100 usando dati pubblici sulla manipolazione robotica, dati acquisiti dalla prospettiva di esseri umani e dati visione-linguaggio. La parte relativa alla manipolazione umana comprende circa 350.000 episodi e 170 milioni di fotogrammi. Il laboratorio afferma di conservare le convenzioni di controllo originali di ciascun dataset, anziché ricondurre tutte le fonti a uno spazio di azioni condiviso.
La distribuzione comprende codice per l’addestramento e la valutazione, strumenti per l’elaborazione dei dati, pesi preaddestrati e checkpoint sottoposti a fine-tuning per benchmark specifici. Questi checkpoint sono destinati a diverse piattaforme, tra cui Franka Panda, il robot bimanuale ALOHA, PandaOmron mobile e l’umanoide Fourier GR-1. Kyutai descrive anche esecuzioni autonome su un braccio UR5, sottoposto a fine-tuning per un’ora su 50 dimostrazioni per compito. I checkpoint elencati sono adattati ai rispettivi benchmark e robot, anziché essere presentati come un unico sistema già universale.