SO(3)-RoPE per i transformer sferici

Abstract degli autori

I dati sferici si presentano in molte applicazioni scientifiche. Spesso i transformer sferici trascurano la geometria del dominio sferico sottostante, causando distorsioni e singolarità delle coordinate vicino ai poli. Presentiamo SO(3)-RoPE, una codifica posizionale relativa che integra la geometria sferica nel meccanismo di attenzione dei transformer attraverso rappresentazioni unitarie di SO(3). La nostra formulazione è equivariante rispetto a SO(3) e compatibile con FlashAttention, pur mantenendo l’efficienza dei transformer standard. Nella previsione della dinamica delle acque poco profonde su una sfera in rotazione, il nostro SO3ViT supera un modello di riferimento S2Transformer, con errori inferiori e tempi di esecuzione ridotti.