UtoMe: fusione dei token guidata dall’incertezza delle osservazioni per i modelli fondazionali meteorologici

Abstract degli autori

I transformer meteorologici elaborano densi campi di rianalisi la cui affidabilità varia a seconda delle variabili, delle località e dei regimi meteorologici. La fusione dei token può ridurre il carico computazionale, ma la sola somiglianza tra le caratteristiche non tiene conto di questa eterogeneità nell’incertezza degli input. Presentiamo UtoMe, un metodo di fusione dei token guidato dall’incertezza delle osservazioni che combina la salienza della dinamica con la dispersione dell’ensemble di assimilazione dei dati, usata come indicatore indiretto dell’affidabilità relativa degli input. Il punteggio di importanza così ottenuto preserva alcuni token selezionati come punti di riferimento e calibra l’abbinamento bipartito tra i token rimanenti. Tre varianti utilizzano l’incertezza esterna sia durante l’addestramento sia durante l’inferenza, solo durante l’addestramento oppure in nessuna delle due fasi. Nelle previsioni a 72 ore su ERA5, a due risoluzioni spaziali, UtoMe riduce l’errore Overall rispetto a ToMe usato in fase di addestramento, a parità di budget di token. A $1.40625^\circ$ e con una riduzione dei token del 50%, UtoMe-E porta l’errore Overall da 67,32 a 53,00, mantenendo lo stesso valore di 0,55x per i FLOP dell’encoder. Con riduzioni contenute, i risultati restano vicini alla baseline che utilizza tutti i token; riduzioni maggiori comportano perdite di accuratezza misurabili. Le analisi di ablazione dei componenti e i controlli spaziali dell’incertezza corroborano l’utilità di combinare la dinamica con un’incertezza allineata nell’assegnazione del budget di token di un transformer meteorologico.