P$^3$-VLM: un’alternativa basata su punti per i modelli 3D di visione e linguaggio con ancoraggio spaziale

Abstract degli autori

L’esame dei benchmark esistenti per l’ancoraggio spaziale nei modelli 3D di visione e linguaggio rivela una diffusa «fuga di informazioni semantiche» nei protocolli di valutazione e di prompting: si fa largo uso delle bounding box come prompt spaziali o elementi di base della rappresentazione. Poiché le bounding box forniscono molte informazioni sulle categorie degli oggetti, offrono ai modelli una scorciatoia che consente loro di trascurare le informazioni visive durante l’addestramento. Lo dimostriamo con un LLM «cieco» che, ricevendo come prompt soltanto le coordinate delle bounding box, ottiene risultati sorprendentemente buoni. Per analizzare ulteriormente questa scorciatoia, proponiamo un prompting per l’ancoraggio basato su punti: i modelli ricevono come input un singolo punto 3D anziché una bounding box. Con questo protocollo, l’accuratezza dell’LLM cieco scende dal 36,4% al 18,0% su Nr3D di ScanNet; si osserva un calo analogo anche nei modelli 3D di visione e linguaggio, come LL3DA. Partendo da questa osservazione, presentiamo P$^3$-VLM, un nuovo modello 3D di visione e linguaggio a tre percorsi che supporta prompt basati su punti e, in questa configurazione, raggiunge un’accuratezza del 52,1% nella generazione di didascalie ancorate alla posizione, il miglior risultato finora ottenuto. A questo scopo, riprogettiamo l’architettura mantenendola priva di rilevatori, incentrata sulla scena e adatta a input 3D GS. P$^3$-VLM utilizza tre percorsi complementari, sensibili rispettivamente alla posizione, al compito e al contesto, che consentono di ragionare efficacemente sulle scene senza dipendere dalle bounding box. Il vantaggio principale dell’apprendimento basato su punti è un miglioramento costante nelle diverse configurazioni: P$^3$-VLM ottiene i migliori risultati finora raggiunti nell’ancoraggio basato su punti e migliora anche la robustezza, la capacità di generalizzazione OOD e i risultati nei benchmark di VQA 3D incentrati sulla scena e privi di ancoraggio. Ciò riflette una minore dipendenza dalle scorciatoie offerte dalle bounding box e, di conseguenza, una maggiore capacità di ragionamento visivo-spaziale.