Adattarsi senza gradienti: il trasporto affine delle statistiche e cosa può dirci il suo certificato

Abstract degli autori

L’adattamento in fase di test (TTA) presuppone in genere che i parametri del modello possano essere aggiornati durante l’inferenza. È un’ipotesi restrittiva per gli acceleratori dedicati esclusivamente all’inferenza, per i modelli congelati o di terze parti e per le implementazioni con memoria limitata. Inoltre, le configurazioni standard di TTA basate su BatchNorm possono risultare inattive nelle architetture prive di BatchNorm. Studiamo l’adattamento quando il modello addestrato deve rimanere congelato. Presentiamo CASTER, un metodo senza gradienti che memorizza le statistiche delle classi della sorgente in un sottospazio discriminativo, stima una trasformazione affine condivisa tra le classi a partire dai momenti dei batch di destinazione e trasporta analiticamente le distribuzioni delle classi della sorgente prima della classificazione. CASTER non richiede né un passaggio all’indietro, né lo stato di un ottimizzatore, né una banca memorizzata di feature della sorgente. Su quattro backbone e sette dataset, supera k-NN sulle stesse feature congelate in 27 delle 28 combinazioni backbone-dataset, pur richiedendo uno stato 18 volte più piccolo in termini mediani. Il trasporto affine non è sempre affidabile. Su ImageNet-C, dove i batch contengono soltanto 64 campioni per 1000 classi, il trasporto incondizionato fa perdere 21,2 punti di accuratezza top-1. Introduciamo quindi un certificato empirico di trasportabilità basato sul rapporto tra residuo e margine. Su 307 casi di valutazione, ogni trasporto che comporta una perdita superiore a 10 punti ha un valore del certificato maggiore di 3,9, sebbene i casi innocui e quelli dannosi non siano separati perfettamente. Il gating trasforma un effetto medio di $-3.35$ punti del trasporto incondizionato in un guadagno di +1,69 punti, e le prestazioni restano entro 0,3 punti da quelle ottenute con la soglia migliore su un ampio intervallo di soglie. Infine, mostriamo che questo certificato è specifico del meccanismo: applicato a Tent, accetta soltanto il $4.3\%$ degli aggiornamenti e conserva lo 0,6% del guadagno ottenibile con Tent. Questi risultati indicano CASTER come un meccanismo di adattamento leggero per l’impiego di modelli congelati, accompagnato da una descrizione esplicita dei casi in cui il suo segnale di sicurezza è informativo e di quelli in cui non lo è.