Schizzo polinomiale apprendibile a basso rango per un’attenzione lineare efficace

Abstract degli autori

L’attenzione softmax nei Transformer ha una complessità quadratica rispetto alla lunghezza della sequenza, il che la rende impraticabile per le applicazioni con contesti lunghi. L’attenzione lineare attenua questo problema sostituendo il kernel esponenziale con funzioni alternative che consentono un calcolo in tempo lineare. Tra gli approcci esistenti all’attenzione lineare, studi recenti hanno dimostrato che i kernel polinomiali sono particolarmente efficaci, perché presentano un comportamento sparso e caratterizzato da picchi, simile a quello dell’attenzione softmax, che dà risalto ai prodotti scalari elevati e sopprime le interazioni irrilevanti. Tuttavia, il calcolo esatto di kernel polinomiali di alto grado è impraticabile per rappresentazioni ad alta dimensionalità. Di conseguenza, i lavori precedenti si basano su kernel polinomiali approssimati. Questo introduce un errore di approssimazione non trascurabile. In questo articolo mostriamo che, dal punto di vista dell’approssimazione dei kernel polinomiali, gli attuali metodi di attenzione lineare sono ancora subottimali. Proponiamo \textbf{L}earnable \textbf{Lo}w-Rank \textbf{P}olynomial \textbf{S}ketch (LLoPS), un framework rigoroso e flessibile per approssimare i kernel polinomiali con l’attenzione lineare. Il nostro metodo apprende uno sketch polinomiale a basso rango che, come dimostriamo, raggiunge un errore di approssimazione strettamente inferiore a quello degli approcci esistenti. I risultati sperimentali mostrano che LLoPS ottiene le prestazioni più elevate su un’ampia gamma di benchmark, rispetto a diverse baseline di attenzione lineare.