Allineare una volta per spiegare: allineamento delle feature per una B-cosificazione scalabile dei transformer visivi fondazionali

Abstract degli autori

I modelli visivi fondazionali sono diventati lo standard di fatto per molte attività di visione grazie alle loro ottime prestazioni. Tuttavia, sono notoriamente opachi e restano difficili da interpretare. Presentiamo ALOE (allineare una volta per spiegare), un approccio di allineamento delle feature eseguito una sola volta e senza etichette, che converte in modo efficiente i modelli visivi fondazionali in varianti B-cos intrinsecamente interpretabili. Una volta allineato, il backbone B-cos viene usato come sostituto immediato in diverse attività a valle, ammortizzando il costo dell’interpretabilità. ALOE è robusto nei diversi paradigmi di pre-addestramento (supervisionato, auto-supervisionato, visione-linguaggio) e può preservare una capacità di generalizzazione pari a quella del modello insegnante usando molti ordini di grandezza in meno di dati rispetto all’addestramento da zero. Nella classificazione, supera nettamente la B-cosificazione standard (per esempio, +10,5 punti percentuali di accuratezza top-1 su ImageNet per DINOv3 ViT-B/16) e mantiene prestazioni solide nel linear probing, nel k-NN e nel trasferimento zero-shot, competitive con quelle dei backbone fondazionali (DINOv3, SigLIP2) su diversi dataset a valle. Inoltre, preserva feature con struttura spaziale utili per la predizione densa e, per progettazione, produce spiegazioni ben localizzate e altamente interpretabili dagli esseri umani.