DiaVLo: diagnosi dei comportamenti dei modelli di visione-linguaggio

Abstract degli autori

I modelli di visione-linguaggio (VLM) si basano sulla memorizzazione e sul trasferimento di informazioni appropriate tra i propri sottocomponenti. Verificare che i VLM presentino i comportamenti desiderati, evitando quelli dannosi, è fondamentale per una loro implementazione affidabile. Eppure, i metodi per identificare i comportamenti dei VLM sono ancora pochi. Presentiamo DiaVLo, un framework diagnostico che sfrutta la curatela umana e le capacità generative dei VLM per costruire specifiche dei comportamenti desiderati e osservati dei VLM, facendo emergere potenziali disallineamenti. Inoltre, DiaVLo fornisce anche stime causali per identificare i concetti che influenzano maggiormente i comportamenti dei VLM. Valutiamo DiaVLo su diversi VLM open source, sia in condizioni di classificazione sia di generazione. I nostri esperimenti mostrano che DiaVLo produce etichette dei comportamenti correlate alle prestazioni dei modelli e fornisce un contesto per interpretare le prestazioni misurate. DiaVLo ha fatto emergere comportamenti chiaramente allineati e disallineati, oltre a schemi nel modo in cui i VLM percepiscono, organizzano e danno priorità ai concetti.