Verso il trasferimento degli iperparametri per l’ottimizzazione differenzialmente privata

Abstract degli autori

Le leggi di scala e la messa a punto degli iperparametri restano sfide centrali nell’addestramento di modelli su larga scala, soprattutto in regime di privacy differenziale (DP), dove l’ottimizzazione è ulteriormente complicata dall’aggiunta di rumore e dal clipping del gradiente per singolo campione. Sebbene Maximal Update Parametrization ($μ$P) consenta di trasferire gli iperparametri senza ulteriore messa a punto nell’addestramento standard, dimostriamo che non funziona sotto i vincoli della DP, a causa delle diverse proprietà spettrali del rumore ad alta dimensionalità e dei gradienti di rango basso. In questo lavoro presentiamo DP-$μ$P, un framework fondato su basi teoriche che estende $μ$P a un contesto che tutela la privacy. Analizzando l’interazione tra clipping del gradiente, aggiunta di rumore e apprendimento delle caratteristiche, ricaviamo una condizione relativa al rapporto segnale-rumore (SNR) che determina come scalare il tasso di apprendimento per ciascun livello. Combinandola con la formulazione della scalatura spettrale che proponiamo, forniamo regole specifiche di scalatura per gli ottimizzatori DP-SGD, DP-Adam e DP-Muon. I risultati empirici mostrano che DP-$μ$P consente di trasferire efficacemente i tassi di apprendimento senza ulteriore messa a punto tra modelli di diversa ampiezza e con diverse architetture (MLP, ViT, GPT-2), eguagliando o superando le prestazioni delle baseline messe a punto singolarmente e riducendo in misura significativa i costi computazionali.