ControlJEPA: regolarizzazione delle traiettorie fondata su principi mediante la Lyapunov Tube Loss

Abstract degli autori

La predizione del token successivo lascia le traiettorie degli stati nascosti in gran parte prive di vincoli, mentre i regolarizzatori geometrici esistenti controllano soprattutto la direzione, anziché l’entità, delle deviazioni delle traiettorie. Presentiamo \emph{ControlJEPA}, un metodo di regolarizzazione delle traiettorie basato su una condizione di contrazione di Lyapunov a tempo discreto tratta dalla teoria della stabilità pratica ingresso-stato. La sua Lyapunov Tube Loss penalizza le violazioni di questa condizione sulla base di una misura normalizzata della deviazione trasversale, invariante rispetto alla scala. Quando la condizione di contrazione è soddisfatta a ogni passo, la traiettoria degli stati nascosti rimane entro un tubo esplicitamente definito attorno alla secante di riferimento. Nel regime di ISS parziale, stabiliamo limiti per l’energia trasversale media, la varianza temporale e la larghezza media del tubo in funzione della loss di Lyapunov e dei parametri di contrazione; se le violazioni sono uniformemente limitate, i limiti per la varianza sono indipendenti dall’orizzonte. ControlJEPA non richiede modifiche all’architettura. Su sei benchmark e sei famiglie di modelli, migliora costantemente l’accuratezza e l’efficienza nell’uso dei dati rispetto al fine-tuning standard e ai precedenti regolarizzatori delle traiettorie. Il profilo trasversale più regolare che ne risulta persiste empiricamente anche durante l’inferenza, quando il regolarizzatore non è attivo. Il codice è disponibile pubblicamente all’indirizzo: \url{https://github.com/t-khanusa/ControlJEPA}