FreeSolo: attenzione sparsa a tempo lineare con estrapolazione della lunghezza zero-shot

Abstract degli autori

I modelli di sequenza a tempo lineare memorizzano generalmente le informazioni relative ai contesti lunghi in uno stato ricorrente. Uno stato di dimensione fissa limita la quantità di informazioni memorizzabili, mentre le architetture ibride che aggiungono l’attenzione completa per migliorare il recupero delle informazioni comportano un costo quadratico rispetto alla lunghezza della sequenza. In alternativa, l’attenzione sparsa con prosecuzione del preaddestramento (CPT) può estendere la lunghezza effettiva del contesto. La generalizzazione oltre la lunghezza usata nell’addestramento resta tuttavia difficile e il CPT può essere costoso. Presentiamo FreeSolo, un meccanismo nativo di attenzione sparsa con un ramo a corto raggio basato su una finestra scorrevole e un ramo a lungo raggio che seleziona celle di punti chiave per applicare l’attenzione direttamente ai token. La sua variante a tempo lineare, FS-L, impara a ridurre il prefisso prima della selezione dipendente dalla query attraverso una breve fase di CPT. FS-B esplora alberi bilanciati con un costo algoritmico di $O(N\log^2 N)$, inclusa la costruzione mediante radix sort. FreeSolo mostra una migliore estrapolazione della lunghezza zero-shot rispetto ai modelli di riferimento, senza fine-tuning su contesti lunghi.