Scalabilità dei dati ottimale rispetto al calcolo per i modelli surrogati neurali mediante addestramento a più livelli di fedeltà

Abstract degli autori

I modelli surrogati neurali per le equazioni alle derivate parziali (PDE) vengono di norma addestrati su dati sintetici prodotti da simulatori numerici. Con la crescita dei modelli e la necessità di dataset più grandi imposta dalle leggi di scala, il costo della generazione dei dati supera spesso quello dell’addestramento e diventa il principale ostacolo alla scalabilità. A differenza dei dati in altri ambiti, però, ogni campione di una PDE ha un costo regolabile, che dipende dalla sua fedeltà numerica: il conseguente compromesso tra costo e accuratezza è determinato da tassi di convergenza noti. Sfruttiamo questa proprietà descrivendo formalmente l’addestramento dei modelli surrogati neurali in funzione sia della quantità sia della fedeltà dei dati, a fronte di un budget di calcolo fisso per la loro generazione, e trattando la fedeltà come uno spettro discreto a granularità fine anziché come una distinzione binaria. Su questa base, mostriamo che l’addestramento a più livelli di fedeltà consente un andamento dell’errore, rispetto al calcolo impiegato per generare i dati, ottimale secondo Pareto. Usando simulazioni a fedeltà inferiore come segnale di addestramento aggiuntivo, l’addestramento sulla combinazione ottimale di livelli di fedeltà raggiunge la stessa accuratezza di quello basato esclusivamente su dati ad alta fedeltà, con un impiego di calcolo per la generazione dei dati fino a $6.3\times$ inferiore nelle configurazioni esaminate. Verifichiamo questi risultati su sei problemi di PDE che comprendono griglie strutturate e mesh non strutturate, due distinte fonti di errore (errore di discretizzazione e del risolutore iterativo) e quattro architetture di modelli surrogati, per un totale di oltre 7.000 esecuzioni di addestramento.