PDE-PFN: solver neurale per PDE addestrato su dati a priori

Abstract degli autori

Motivati dal successo dei grandi modelli linguistici (LLM), capaci di generalizzare ampiamente e di resistere a dati di preaddestramento rumorosi o inaffidabili, esploriamo la predizione in contesto dei campi di soluzione delle PDE utilizzando dati di preaddestramento approssimati. Inoltre, ispirandoci al meccanismo di inferenza basato sulla media predittiva a posteriori impiegato nell’apprendimento in contesto delle reti addestrate su dati a priori (PFNs), proponiamo PDE-PFN, un solver neurale addestrato su dati a priori che approssima la media predittiva a posteriori delle soluzioni delle PDE mediante l’apprendimento in contesto. PDE-PFN si basa su un’architettura PFN con meccanismi di autoattenzione e attenzione incrociata del Transformer ed è preaddestrato su soluzioni approssimate e rumorose generate da reti neurali informate dalla fisica, che fungono da priori diversificati ma non necessariamente esatti. Attraverso esperimenti su una serie di PDE bidimensionali, dimostriamo che PDE-PFN presenta una capacità empirica di generalizzazione tra equazioni eterogenee, robustezza rispetto a priori rumorosi e capacità di inferenza in contesto senza aggiornamenti del gradiente. PDE-PFN raggiunge un’accuratezza predittiva competitiva o superiore rispetto ai metodi di riferimento valutati, pur supportando rappresentazioni flessibili del contesto e delle query.