Meglio frazionario: ordini di derivazione apprendibili nell’apprendimento degli operatori neurali

Abstract degli autori

Gli operatori neurali apprendono corrispondenze tra spazi di funzioni, consentendo di ottenere rapidamente soluzioni surrogate delle equazioni differenziali alle derivate parziali. Nonostante la notevole varietà delle architetture, questi metodi condividono spesso la stessa rappresentazione degli input: coppie grezze di coordinate e valori $(x, u(x))$. Ci chiediamo se input più aderenti alla struttura differenziale delle PDE possano migliorare l’apprendimento. Attraverso l’iterazione di Picard applicata alle soluzioni miti, mostriamo che le derivate dell’input compaiono esplicitamente nell’operatore di soluzione: fornire caratteristiche basate sulle derivate dovrebbe quindi ridurre l’onere della differenziazione implicita per la rete. Dimostriamo questa intuizione: fornire tali caratteristiche migliora i limiti di approssimazione da $O(W^{-(s-m)/d})$ a $O(W^{-s/d})$, dove $W$ è il numero di parametri, $s$ è la regolarità dell’input, $m$ è l’ordine della PDE e $d$ è la dimensione spaziale. Il nostro risultato principale, però, è sorprendente: l’ordine di derivazione ottimale $β^*$ è strettamente inferiore all’ordine $m$ della PDE. Questa differenza deriva da un compromesso tra bias e varianza nello spazio spettrale, che caratterizziamo in forma chiusa. Apprendere $β$ dai dati consente una regolarizzazione spettrale automatica. Presentiamo $\partial$-NO (del-NO), per operatori neurali arricchiti con derivate: un’estensione indipendente dall’architettura che fornisce caratteristiche basate su derivate frazionarie apprendibili a qualsiasi architettura di base di un operatore neurale. Su diversi problemi benchmark e con diverse architetture, $\partial$-NO migliora sistematicamente l’accuratezza delle previsioni, con ordini appresi che rispecchiano una rappresentazione della fisica nota, modulata dal rumore e dai vincoli imposti da un campione finito.