Una prospettiva prossimale di Bregman sugli operatori neurali

Abstract degli autori

Presentiamo diversi progressi nell’ambito degli operatori neurali, interpretando l’azione dei loro strati come i minimizzatori di problemi di ottimizzazione regolarizzati secondo Bregman su spazi di Banach di funzioni. Il quadro proposto consente di interpretare gli operatori di attivazione come operatori di prossimità di Bregman che mappano lo spazio duale in quello primale. Questa nuova prospettiva è sufficientemente generale da ricomprendere gli operatori neurali classici e una nuova variante, denominata operatori neurali di Bregman, che include l’operatore di attivazione inverso e ha la stessa capacità espressiva degli operatori neurali standard. Gli esperimenti numerici avvalorano i vantaggi aggiuntivi della variante di Bregman degli operatori neurali di Fourier nell’addestramento di modelli più profondi e più accurati.