Collegare CLIP e DINO: massimizzazione dell’informazione cross-modale per l’adattamento online in fase di test

Abstract degli autori

I modelli visione-linguaggio come CLIP consentono la classificazione zero-shot a partire da nomi di classi arbitrari, ma, in presenza di corruzioni in fase di test, il loro encoder visivo proietta feature distorte su ancoraggi testuali errati con elevata confidenza: un fenomeno che chiamiamo bias di modalità. La minimizzazione standard dell’entropia rafforza questi errori commessi con eccessiva sicurezza, creando un circolo vizioso di bias di conferma e facendo collassare la distribuzione delle etichette predette. Proponiamo un metodo di adattamento online in fase di test (TTA) che interrompe questo circolo a tre livelli. A livello di rappresentazione, un backbone self-supervised congelato (ad esempio, DINO v2) viene combinato con CLIP tramite un ensemble di logit basato sulla covarianza incrociata. I prototipi testuali di CLIP vengono proiettati nello spazio delle feature di questo backbone privo di testo, così che il ramo self-supervised classifichi le feature native delle immagini e risenta meno del bias testuale di CLIP. A livello di ottimizzazione, un obiettivo di massimizzazione dell’informazione in fase di test con gate combina la concentrazione delle predizioni sui singoli campioni con la diversità a livello di batch, mentre un gate adattivo esclude dal gradiente i campioni inaffidabili. A livello di predizione, un aggiustamento online dei logit corregge lo sbilanciamento residuo nella distribuzione delle classi. CDIM supera i metodi di riferimento di TTA online basati su CLIP con cui è stato confrontato su ImageNet-C, CIFAR10-C e CIFAR100-C, e mantiene prestazioni competitive nella TTA continua e in quella a domini misti. Analisi approfondite e studi di ablazione verificano il contributo di ciascuna componente. Il nostro codice è disponibile all’indirizzo https://github.com/B1ueC1oud/CDIM