B2P-Corr: stimatori di gradiente da batch a popolazione per perdite di correlazione non decomponibili

Abstract degli autori

Metriche di correlazione come il coefficiente di correlazione di Pearson (PCC) e il coefficiente di concordanza di correlazione (CCC) sono metriche di regressione e obiettivi di apprendimento standard, ma la loro natura non decomponibile pone una sfida all’ottimizzazione stocastica. Poiché queste metriche dipendono da momenti calcolati sull’intero dataset (media, varianza, covarianza), un addestramento ingenuo con mini-batch e statistiche locali produce gradienti distorti e ad alta varianza, il cui valore atteso non coincide con il gradiente della popolazione. Per colmare questo divario «da batch a popolazione» (B2P), proponiamo \textbf{B2P-Corr}, un nuovo framework che trasforma gli obiettivi di correlazione in pseudo-loss decomponibili, basate su «schizzi dei momenti» globali e leggeri. Introduciamo due varianti efficienti: \textbf{B2P-EMA}, che utilizza medie mobili esponenziali e operatori stop-gradient per garantire un tracciamento asintotico del gradiente con un costo $O(B)$ ($B$ è la dimensione del batch); e \textbf{B2P-U}, che usa stimatori U-statistici campionati tra batch e una stabilizzazione basata su reservoir, con un’implementazione di costo $O(B)$. Sul piano teorico, quantifichiamo il bias $O(B^{-1})$ dell’ottimizzazione ingenua con mini-batch, dimostriamo un risultato di tracciamento rispetto a un obiettivo variabile per B2P-EMA in un regime con sketch rapidi e parametri lenti e forniamo un’analisi idealizzata delle variabili di controllo per B2P-U. Gli esperimenti su due dataset sintetici e tre dataset reali dimostrano che B2P-Corr consente un’ottimizzazione stabile e una correlazione più elevata rispetto all’ottimizzazione ingenua con mini-batch, con un overhead trascurabile.