RoboJev: un modello aperto di visione e linguaggio per rilevare il successo dei robot

Abstract degli autori

Molti video di manipolazione robotica non indicano se il compito sia stato completato con successo. RoboJev-27B è un modello visivo-linguistico a pesi aperti che riceve un’istruzione relativa al compito, 10 fotogrammi di un tentativo di manipolazione e, se disponibili, i fotogrammi finali di telecamere ausiliarie, e prevede se il robot abbia portato a termine il compito. RoboJev-27B è una variante di JEV-27B-VL, addestrata su 52.598 registrazioni di episodi con un adattatore LoRA di rango 32 applicato soltanto al modello linguistico, mantenendo congelato l’encoder visivo. Impiega inoltre una penalità KL specifica per fonte, applicata solo ai dati di ricerca, che mantiene le previsioni su quelle fonti più vicine a quelle del modello originale. Usa un sistema calibrato di lettura a due token che restituisce le probabilità di successo e insuccesso in un unico passaggio del modello. Su 268 episodi tenuti fuori dall’addestramento e relativi allo stesso modello di robot (SO-101), RoboJev-27B raggiunge un’accuratezza bilanciata del 95,2% e un’AUROC di 0,993. Generalizza anche agli episodi raccolti da laboratori o robot non visti durante l’addestramento (AUROC = 0,890 su 459 episodi), nonché agli episodi raccolti dalla comunità con etichette chiare (accuratezza = 93,3% su 135 episodi). Sul sottoinsieme relativo a laboratori o robot non visti, il modello di base raggiunge un’AUROC di 0,900 con gli stessi input. Per l’inferenza su una singola H100 impiega 0,26 secondi per episodio (mediana, elaborazione seriale), pari a circa \$0.19 per 1,000 success predictions at \$2.69 per ora di GPU, esclusi i costi di elaborazione dei contenuti multimediali e di erogazione del servizio. RoboJev-27B viene rilasciato insieme al codice per l’inferenza e a una valutazione trasparente: sono rese disponibili 20.628 previsioni, organizzate in 29 voci relative a modelli e protocolli, per agevolarne la consultazione e consentire un’analisi riproducibile delle prestazioni nel rilevamento del successo. Lo confrontiamo inoltre con validi VLM di frontiera accessibili tramite API, che ricevono meno fotogrammi in input (4 immagini provenienti soltanto dalla telecamera principale). Va osservato che il confronto non avviene a parità di condizioni, perché RoboJev-27B riceve più fotogrammi durante l’inferenza.