DoSA: attenzione sparsa a punti

Abstract degli autori

L’attenzione sparsa esamina poche chiavi, ma per individuarle può comunque essere necessario calcolare il punteggio di ogni chiave con ciascuna testa dell’indicizzatore. Presentiamo DoSA (Dots Sparse Attention), un metodo senza perdita che rende condizionale questo calcolo preservando l’esatta selezione dei token. L’osservazione centrale è che, per scartare un candidato nella selezione Top-K, bastano prove sufficienti: non occorre necessariamente conoscerne il punteggio completo. Un insieme iniziale fornisce un limite inferiore alla soglia di selezione. Le proiezioni non negative delle teste e i limiti congiunti sui residui forniscono limiti superiori ai contributi positivi, mentre un’aggregazione basata sulle attivazioni limita l’entità sottratta dalle teste negative. Il certificato indirizza il calcolo dei punteggi completi verso i candidati che restano idonei; un ulteriore filtro basato sui punteggi esatti riduce le operazioni di scrittura in memoria e di selezione. Definiamo il certificato e le condizioni in cui garantisce una selezione esatta, e analizziamo come la geometria e i margini di selezione ne determinino l’efficacia. La nostra implementazione per GPU accelera l’intero Indexer fino a 2,74 volte rispetto a SGLang e a 1,69 volte rispetto a LiteTopK su carichi di lavoro in inglese, cinese e codice. Nella valutazione end-to-end su GLM-5.2 e DeepSeek-V3.2, il tempo al primo token migliora fino a 1,94 e 1,50 volte rispetto alle due soluzioni di riferimento, rispettivamente.