Le parti possono ingannare il test? Cicli di abbinamento controfattuale per l’OOD relazionale

Abstract degli autori

Gli errori relazionali fuori distribuzione sono facili da descrivere, ma difficili da valutare in modo rigoroso. Un’immagine può essere naturale, una didascalia scorrevole e tutti gli oggetti menzionati comuni; eppure la didascalia può descrivere una relazione sbagliata tra gli elementi dell’immagine. Molte valutazioni pensate per verificare questo comportamento possono essere superate senza controllare affatto l’abbinamento, perché gli esempi negativi differiscono per stile della didascalia, template, lunghezza, frequenza degli oggetti o caratteristiche statistiche delle immagini. Proponiamo i cicli di abbinamento controfattuale, una procedura elementare di valutazione a blocchi che riutilizza le stesse due immagini e le stesse due didascalie in entrambi i termini del confronto, cambiando soltanto quale immagine è abbinata a quale didascalia. In questo modo, le scorciatoie basate solo sull’immagine, solo sul testo o su componenti additive si annullano esattamente nei campioni finiti. Lo stesso confronto fornisce anche una funzione di perdita per l’addestramento con outlier exposure relazionale e uno strumento diagnostico per i punteggi bilineari visione-linguaggio. Nei controlli sintetici, in GQA e in COCO, i cicli distinguono la corrispondenza generica tra immagini e didascalie dagli errori direzionali nell’assegnazione dei ruoli, individuando al tempo stesso relazioni geometriche di dimensione che restano ben visibili nelle caratteristiche globali. In uno stress test di outlier exposure su COCO contaminato da scorciatoie, un modello selezionato in base a un’AUROC di validazione quasi perfetta ottenuta sfruttando una scorciatoia conserva un segnale relazionale consistente, ma sui cicli esatti resta al di sotto di un modello addestrato sui cicli; l’addestramento sui cicli porta CycleAcc da 0,882 a 0,927. La lezione principale è semplice: per verificare se un modello comprende un abbinamento, il benchmark dovrebbe mantenere fisse le parti, cambiare l’abbinamento e valutare soltanto il legame tra le parti. L’implementazione ufficiale è disponibile online.