OmniSpectra: un modello fondativo unificato per l’apprendimento universale delle rappresentazioni degli spettri

Abstract degli autori

I modelli di sequenza standard codificano la posizione in base all’ordine dei token anziché alle coordinate fisiche, costringendo di norma chi li utilizza a ricampionare in modo distruttivo segnali fisici continui, come gli spettri osservati da strumenti eterogenei. Individuiamo in questa discrepanza tra coordinate un limite strutturale per l’apprendimento di rappresentazioni tra strumenti diversi e proponiamo OmniSpectra, un modello fondativo basato nativamente sulla lunghezza d’onda per l’apprendimento di rappresentazioni spettrali: un autoencoder mascherato a coordinate continue che abbandona l’indicizzazione dei pixel mediante numeri interi propria della modellazione delle sequenze. La mappatura delle coordinate fisiche su una base logaritmica trasforma il fattore di scala moltiplicativo indotto dal redshift cosmologico in una traslazione additiva uniforme. Negli embedding posizionali rotazionali continui, questa traslazione condivisa si annulla nelle distanze relative tra i token, anziché produrre una distorsione posizionale dipendente dalla griglia. Contrastiamo inoltre il bias spettrale insito nei decodificatori neurali impliciti con un decodificatore di Fourier fondato sulla fisica e modulato dalla risoluzione, che garantisce l’anti-aliasing. Preaddestrato su otto rilevazioni e valutato rispetto a sette metodi di riferimento, il nostro modello raggiunge prestazioni allo stato dell’arte con soli 12,2 milioni di parametri, superando modelli sostanzialmente più grandi. Ciò indica che la codifica della struttura fisica può compensare il numero di parametri.