Accoppiamento moltiplicativo e additivo dello stato nelle schedulazioni apprese degli ottimizzatori

Abstract degli autori

Apprendiamo schedulazioni per un rilassamento continuo con penalità di MAX-CUT mediante retropropagazione attraverso un risolutore classico le cui iterazioni sono esplicitate. Una schedulazione che non tiene conto dello stato si generalizza a istanze notevolmente più grandi di quelle usate per l’addestramento. Anche una schedulazione bilineare adattiva allo stato si generalizza fuori distribuzione, superando il proprio riferimento non addestrato su 15 seed ($t=4.1$). Per contro, una variante ablativa additiva con gli stessi input e le stesse teste di output è statisticamente indistinguibile dal modello bilineare all’interno della distribuzione, ma fuori distribuzione ottiene risultati peggiori del proprio riferimento ($t=-11.7$). Questa differenza emerge senza regolarizzazione e persiste in una ricerca sui valori del decadimento dei pesi condotta in $30$ tornate: il vantaggio del modello bilineare resta significativo per ogni valore testato, mentre il modello additivo non recupera mai. In questo contesto, i risultati individuano nel modo in cui lo stato del risolutore entra nella schedulazione, anziché nella sola adattività allo stato, la distinzione architetturale associata al trasferimento fuori distribuzione.