Verso valutatori VLM affidabili: invarianza condizionata allo stato e diagnostica consapevole della presentazione

Abstract degli autori

I modelli visione-linguaggio (VLM) sono sempre più usati come valutatori automatici per compiti multimodali ed embodied, ma la sola accuratezza o coerenza complessiva non rivela se un valutatore cambi giudizio per il motivo giusto. Proponiamo l’invarianza condizionata allo stato (SCI), un principio di affidabilità che richiede a un valutatore di mantenersi stabile di fronte a cambiamenti della presentazione che preservano la semantica, rispondendo invece a interventi causali che modificano l’esito del compito. Applichiamo la SCI in GridWM-Judge, un benchmark diagnostico basato su simulatore e costruito a partire da traiettorie deterministiche di MiniGrid, con varianti allineate Full, di rimozione delle evidenze e controfattuali, oltre a sonde sulla presentazione e sulla rappresentazione. Attraverso cinque compiti diagnostici, GridWM-Judge verifica la percezione locale, le transizioni condizionate dalle azioni, la stabilità della presentazione, la scambiabilità delle rappresentazioni e la discriminazione causale Full-CF. Le nostre valutazioni diagnostiche rivelano modalità di fallimento eterogenee, tra cui la sensibilità alla presentazione e alla codifica delle evidenze, la bassa attivazione nelle traiettorie riuscite e la scarsa discriminazione tra controfattuali appaiati. Le analisi che controllano la percezione indicano inoltre che l’ancoraggio visivo e il recupero dell’obiettivo sono colli di bottiglia considerevoli e dipendenti dal modello. Questi risultati suggeriscono di riportare congiuntamente correttezza, stabilità della presentazione e sensibilità causale, anziché affidarsi a un unico punteggio.