UniRAP: verso un ragionamento unificato sulle affordance fisiche a livello delle parti e una percezione orientata all’azione

Abstract degli autori

La percezione visivo-linguistica ha compiuto notevoli progressi nell’allineare il linguaggio naturale alle osservazioni visive, ma resta difficile tradurre la semantica di alto livello in interazioni fisiche a livello delle parti. Per colmare questa lacuna, proponiamo UniRAP, un modello unificato che inferisce le affordance fisiche a livello delle parti e traduce le istruzioni linguistiche in rappresentazioni geometriche utilizzabili per l’azione. UniRAP formula il problema come un compito di generazione multimodale condizionata, integrando input visivi, istruzioni testuali e prompt facoltativi in uno spazio condiviso di rappresentazione spaziotemporale mediante un meccanismo unificato di token di interfaccia. Per prevedere la geometria di contatto necessaria all’azione, introduciamo Unified Affordance Decoder (UAD), che esegue congiuntamente il rilevamento degli oggetti, la segmentazione delle affordance a livello delle parti e la stima della posa di interazione a 4-DoF, sfruttando le rappresentazioni intermedie della segmentazione. Proponiamo inoltre una strategia di addestramento per trasferimento basata su un curriculum, che adatta progressivamente il modello dall’analisi visiva generale alla percezione delle interazioni, migliorando l’efficienza nell’uso dei dati quando le annotazioni testuali sono limitate. Gli esperimenti mostrano che UniRAP ottiene prestazioni allo stato dell’arte nella segmentazione basata su espressioni referenziali, nel grounding delle affordance e nella stima della posa di interazione, mantenendo un’elevata coerenza spaziotemporale in scenari video dinamici. Questi risultati dimostrano l’efficacia di UniRAP come sistema unificato di percezione per la manipolazione fisica guidata dal linguaggio.