Deformazione anisotropa della regione di fiducia per reti addestrate su dati a priori nell’ottimizzazione bayesiana

Abstract degli autori

Le Prior-Data Fitted Networks (PFN) sostituiscono il riadattamento degli iperparametri dei surrogati basati su processi gaussiani (GP) nell’ottimizzazione bayesiana con un’unica passata in avanti, al prezzo di un prior fissato al momento del meta-addestramento. Mostriamo empiricamente che la log-verosimiglianza predittiva di una PFN resta sempre più indietro rispetto a quella di un GP riadattato man mano che la scala di lunghezza della funzione obiettivo supera la moda del prior di meta-addestramento della PFN, e che questo svantaggio si ripercuote sulle prestazioni di ottimizzazione. Per correggere questa discrepanza senza riaddestrare la rete, introduciamo la deformazione Anisotropic Trust Region (ATR). Le scale di lunghezza per ciascuna dimensione vengono stimate tramite kernel target alignment; una riscalatura affine dello spazio degli input porta la funzione obiettivo alla scala di lunghezza attesa dalla PFN, mentre una regione di fiducia attorno all’ancora determina quali osservazioni vengono mantenute. Il costo di inferenza della PFN resta invariato: $\mathcal{O}(d \cdot N^2)$. Sulle funzioni generate da un kernel Matérn-3/2, la deformazione ATR migliora le prestazioni di ottimizzazione della PFN a entrambi gli estremi dell’intervallo delle scale di lunghezza. La nostra implementazione è disponibile pubblicamente all’indirizzo https://github.com/youngers2006/Trust-Region-Warping-For-PFNs.