PINT: un modello unificato con intento predittivo condiviso per la manipolazione robotica

Abstract degli autori

La manipolazione robotica generalista può trarre vantaggio dai modelli visione-linguaggio (VLM) preaddestrati per il ragionamento semantico e dai modelli di generazione video (VGM) per la modellazione del mondo. Tuttavia, i modelli unificati esistenti che li fondono direttamente tramite attenzione condivisa a più livelli possono rendere più difficile sfruttarne le capacità specialistiche. Presentiamo PINT, un modello unificato che coordina ragionamento semantico, modellazione del mondo e generazione di azioni attraverso un intento predittivo condiviso a livello di segmento, preservando al contempo i percorsi specifici di ciascun componente specializzato. PINT inserisce token di intento apprendibili nella sequenza del VLM per formare questa rappresentazione, che condiziona sia il VGM sia un esperto di azioni (AE). Sostituisce soltanto il meccanismo con cui il prompt condiziona il VGM e mantiene il VGM in fase di inferenza, quando l’AE ne legge le rappresentazioni tramite attenzione unidirezionale. Anziché stabilire cosa debba codificare l’intento predittivo, PINT lo apprende congiuntamente dagli obiettivi di previsione propri del VLM, del VGM e dell’AE, che offrono prospettive complementari sulla stessa imminente esecuzione del compito. L’addestramento si svolge in due fasi: nella fase 1 il VGM resta congelato, così che la previsione dei video futuri plasmi l’intento predittivo in base alle dinamiche future pertinenti al compito; nella fase 2 l’intento appreso resta fisso, mentre il VGM e l’AE vengono adattati. Senza preaddestramento embodied, PINT ottiene prestazioni elevate sui dati nella distribuzione di addestramento (ID) e migliora sensibilmente la generalizzazione fuori distribuzione (OOD): raggiunge il 15,5% su RoboTwin 2.0-Hard, contro l’1,8% di Fast-WAM e il 3,2% di StarVLA, e il 79,5% su LIBERO-Plus, contro rispettivamente il 51,5% e il 75,0%. In cinque compiti bimanuali nel mondo reale, PINT raggiunge una percentuale di successo del 68% ID e del 24% OOD, contro il 35%/9% di Motus preaddestrato e il 67%/35% di $π_{0.5}$ preaddestrato.