Che cosa rivelano gli schizzi sugli LVLM: convenzioni, grounding e localizzazione

Abstract degli autori

I benchmark per gli LVLM ci dicono se un modello risponde correttamente, ma non quali convenzioni visive abbia conservato né dove risiedano. Gli schizzi rendono visibile questa struttura nascosta. Uno schizzo elimina texture, illuminazione e contesto fotografico, ma conserva i tratti che le persone hanno ritenuto sufficienti per riconoscere ciò che è raffigurato. Se un LVLM riesce a operare su questa astrazione, il segnale che rimane è strutturale, non soltanto fotometrico. Presentiamo un metodo di analisi basato sugli schizzi che non richiede addestramento e offre tre misure: l’ordine temporale in cui vengono costruite le parti, il grounding spaziale basato sull’attenzione e la sede del grounding, a livello di strati e teste, nei meccanismi del modello. Valutiamo nove LVLM sull’ordine delle parti e cinque sulle misure basate sull’attenzione, usando due dataset di schizzi con annotazioni delle parti. Emergono tre risultati. Primo, l’ordine delle parti negli LVLM segue le convenzioni umane: i modelli riproducono gli ordini canonici quando i disegni delle persone convergono e mostrano una variabilità corrispondente quando gli ordini variano. Test di controllo in cui lo schizzo viene oscurato, omesso o abbinato in modo non corrispondente collocano questa convenzione nel modello linguistico. Secondo, il grounding delle singole parti resiste all’astrazione: teste di attenzione selezionate dal modello congelato con una procedura già esistente individuano le regioni delle parti e degli oggetti negli schizzi di oggetti e scene, senza supervisione per il grounding. Terzo, il segnale di grounding si concentra in una fascia ristretta di strati intermedi la cui posizione, nelle due famiglie che confrontiamo, dipende dal modello linguistico di base anziché dal numero di parametri, e rimane stabile tra schizzi di oggetti e di scene. Ne risulta uno strumento diagnostico pratico per gli LVLM che operano sugli schizzi: nessun fine-tuning, nessun modello ausiliario di segmentazione e una fascia di strati che funge anche da criterio preliminare per selezionare le teste, eguagliando o migliorando la mAcc@0.1 del grounding in ogni modello e dataset che abbiamo testato.