Una sonda lineare è una prova di una rappresentazione lineare?

Abstract degli autori

L’ipotesi della rappresentazione lineare sostiene che i modelli visivi preaddestrati codifichino i fattori generativi come direzioni decodificabili linearmente nello spazio delle caratteristiche e prevede una metodologia standard: addestrare una sonda lineare e considerare rappresentato un fattore se l’accuratezza è elevata. Mostriamo che questo test è troppo permissivo. Asintoticamente, qualsiasi mappa di caratteristiche sufficientemente ricca, anche casuale, consente una lettura lineare; un’elevata accuratezza della sonda è quindi compatibile con due geometrie molto diverse: un vero modello del mondo lineare, in cui il sottospazio allineato ai fattori latenti domina la rappresentazione, oppure una macchina a kernel, in cui i fattori latenti si collocano linearmente all’interno di una varietà curva molto più ampia. La distinzione è importante perché la struttura curva ortogonale alla sonda è rilevante per la generalizzazione fuori distribuzione, la robustezza e il trasferimento composizionale. Proponiamo tre diagnostiche asimmetriche per distinguere i due casi: predittività inversa, concentrazione spettrale e generalizzazione fuori distribuzione. Le validiamo in una simulazione completamente osservata, in cui la verità fondamentale è nota. Applicate a sei transformer visivi preaddestrati su SVG-World, il nostro benchmark generativo deterministico con stili visivi appaiati, e a due di essi su CelebA, mostrano che il pretraining produce una struttura che va oltre un kernel casuale, ma resta ben lontana da un modello del mondo lineare. Su dSprites, 3D Shapes e MPI3D, la decodificabilità diretta e la varianza allineata ai fattori latenti si dissociano. Pertanto, la sola decodifica diretta non dimostra che i fattori esaminati siano allineati con la geometria dominante della rappresentazione. In sintesi, il nostro lavoro invita alla cautela nell’interpretare il successo delle sonde lineari rispetto a rappresentazioni realmente lineari e a bassa dimensionalità.