Indizi dalle coordinate di coda, correzioni delle coordinate principali: rettifica plug-and-play per l’adattamento in fase di test a insieme aperto

Abstract degli autori

L’adattamento in fase di test a insieme aperto (OSTTA) opera su flussi di dati di destinazione non stazionari, in cui coesistono variazioni delle covariate e variazioni semantiche. I metodi di adattamento in fase di test esistenti ricavano spesso i segnali per l’adattamento aggiornando i parametri del modello o mantenendo memorie modificabili: operazioni che possono essere costose e vulnerabili ai campioni sconosciuti. Presentiamo TALOR, un modulo leggero di rettifica che non richiede backpropagation e usa la testa lineare del modello sorgente come riferimento geometrico. La base indotta dalla testa scompone ogni rappresentazione normalizzata in coordinate principali ad alto guadagno e coordinate di coda a basso guadagno. TALOR stima una correzione affine con instradamento morbido nel sottospazio principale, combinando un bias delle coordinate principali a livello di regime con una pendenza condizionata dalle coordinate di coda, che coglie l’accoppiamento tra coordinate di coda e coordinate principali a livello di singolo campione. Mediante una regressione ridge ponderata, sottrae questa stima della deriva dalle coordinate principali, ricostruisce la rappresentazione e la passa alla testa del modello sorgente. Sul benchmark ImageNet-C con sei dataset csOOD, TALOR supera UniEnt, il secondo miglior metodo, di 2,2% nell’H-score, risultando 2,5 volte più veloce e usando solo il 12% della sua memoria GPU; come modulo plug-in di post-correzione, porta inoltre COME a un H-score del 68,4% con un consumo di memoria aggiuntivo di appena il 2%.