Recupero di candidati con budget di token per VLM ancorati a scene 3D: nomi delle categorie vs. geometria a coppie

Abstract degli autori

Con un budget di contesto fisso, quali oggetti e relazioni dovrebbe vedere per primi un VLM ancorato a una scena 3D? Nei benchmark indoor di referring su ScanNet (Dai et al., 2017), abbinare la query ai nomi delle categorie degli oggetti supera il punteggio basato sulla geometria a coppie a ogni valore di K riportato. Le differenze sono maggiori ai valori elevati di recall. Gli indizi analitici basati su coppie superano il punteggio basato su indizi per singolo oggetto e i grafi kNN indipendenti dalla query, anche sulle parafrasi. MiniLM e BGE-small ottengono comunque punteggi più alti su questi split. Valutiamo il recupero di candidati con budget di token usando box allineate agli assi, una metrica del rapporto tra token, baseline senza addestramento, due encoder di piccole dimensioni che abbinano q al nome della categoria di ciascun oggetto e QCRR (Query-Conditioned Relation Retrieval), un sistema deterministico che assegna punteggi in base alla geometria a coppie. Su ScanRefer gt_val e su una suddivisione personalizzata del 20% basata sugli ID di scansione di Nr3D e Sr3D (35.504 query; non la suddivisione val ufficiale di ReferIt3D), il matching additivo dei sostantivi raggiunge R@10 pari a 0,864 su ScanRefer, contro lo 0,626 di QCRR; MiniLM e BGE-small raggiungono valori da 0,911 a 0,913 su ScanRefer e da 0,941 a 0,947 su Nr3D. Un harness corretto di 3DGraphLLM (Acc@0.25 nativa pari a 0,67 sul grafo completo, n=300 query ScanRefer) mostra che la selezione del contesto modifica l’accuratezza a valle a parità di budget di oggetti (Random 0,44, QCRR 0,56, MiniLM 0,67, oracle 0,70). In questo harness, il recupero semantico supera la geometria progettata a mano. Rilasceremo il protocollo, le implementazioni dei sistemi di recupero e gli output per query, così che si possano integrare nuovi selettori senza riscrivere l’analisi.