PerturBot: rompere i prior basati sulle scorciatoie nei modelli visione-linguaggio-azione con l’addestramento perturbativo

Abstract degli autori

Una policy visione-linguaggio-azione (VLA) può portare a termine compiti complessi ignorando le evidenze che dovrebbero determinarne le azioni. Un oggetto tenuto vicino alla telecamera sul polso può prendere il posto del bersaglio indicato nelle istruzioni. Linguaggio e azione mostrano lo stesso schema: un sostantivo familiare può attivare l’operazione a cui era associato durante l’addestramento anche quando il verbo cambia, e una pinza che si è chiusa senza afferrare nulla può comunque sollevarsi. Chiamiamo queste dipendenze «scorciatoie di modalità»: le regolarità presenti nelle dimostrazioni riuscite rendono gli indizi visivi, lessicali o motori sufficienti a prevedere le azioni dell’esperto senza le evidenze relative al compito necessarie per la decisione sottostante. Aggiungere altre dimostrazioni dello stesso tipo può aumentare il successo nei compiti senza eliminare queste scorciatoie. Proponiamo Perturbot, che rende più facile utilizzare le evidenze rilevanti per il compito e fa sì che le scorciatoie, da sole, non bastino: applica perturbazioni alla vista dalla telecamera sul polso che preservano il compito, arricchisce le istruzioni con didascalie rilevanti per la decisione e aggiunge segmenti di traiettorie casuali e fallite, rietichettati in base al comportamento che contengono. Affianca lo scaling cambiando ciò che viene scalato e lascia invariata l’inferenza. Proponiamo inoltre GroundingFscore, un punteggio offline che diagnostica quanto una policy dipenda dalle scorciatoie di modalità. Il tasso di successo nel compito mostra se una policy migliora, mentre GroundingFscore rivela se scala in modo sano, facendo affidamento sulle evidenze relative al compito anziché sulle scorciatoie. Insieme, Perturbot e GroundingFscore offrono un quadro di addestramento e valutazione per svincolare le decisioni dei VLA dai prior legati alle scorciatoie, preservando al tempo stesso la capacità di rispondere alle evidenze rilevanti per il compito.