Diagnosi e mitigazione dell’ancoraggio errato alle evidenze nell’editing multimodale della conoscenza

Abstract degli autori

L’editing multimodale della conoscenza mira ad aggiornare fatti ancorati a informazioni visive nei modelli linguistici di grandi dimensioni multimodali (MLLM), preservando al contempo i comportamenti testuali e visivi non correlati. Tuttavia, le metriche standard a livello di risposta possono nascondere un ancoraggio errato alle evidenze: una modifica può produrre la risposta desiderata sull’immagine originale, ma restare sensibile al contesto incidentale anziché alle evidenze visive pertinenti. Per esaminare il problema in un contesto controllato, creiamo WaterBird-Edit, un insieme di analisi che separa le etichette dell’habitat degli uccelli dal contesto dello sfondo e misura se le predizioni modificate restano stabili quando le evidenze bersaglio sono preservate, ma cambia lo sfondo. Sulla base di questa diagnosi, proponiamo VICE (Visual In-Context Editing), un framework basato sul recupero che archivia le modifiche in una memoria esterna e le applica tramite dimostrazioni visive in-context progettate per mettere in evidenza le evidenze rilevanti per il compito. Gli esperimenti su tre benchmark standard mostrano che VICE ottiene prestazioni elevate nell’editing continuativo, mentre i risultati su WaterBird-Edit mostrano che riduce notevolmente la sensibilità ai cambiamenti controllati dello sfondo. Codice e dataset sono disponibili all’indirizzo https://github.com/Wang-Z-W/VICE-main.