Orthros: attenzione eterogenea sensibile alla fase per Transformer efficienti

Abstract degli autori

I meccanismi di attenzione efficienti, come l’attenzione lineare e quella a finestra scorrevole, mirano a ridurre da quadratica a lineare la complessità computazionale dei Transformer. Tuttavia, la loro minore capacità di richiamare informazioni dal contesto spesso rende necessario intercalare livelli di attenzione completa, lasciando irrisolto il collo di bottiglia quadratico nell’elaborazione di contesti lunghi. Per affrontare questo problema, presentiamo l’attenzione Orthros, che sposta il paradigma dell’efficienza dall’allocazione strutturale alla separazione delle operazioni in base alla fase. In quanto modulo unificato, cambia dinamicamente il proprio schema di calcolo nelle diverse fasi dell’elaborazione della sequenza, consentendo un prefilling a complessità lineare e una decodifica con attenzione completa. Questa struttura conferisce all’attenzione Orthros una complessità asintotica inferiore a quella dei Transformer standard negli scenari comuni con contesti lunghi, caratterizzati da un prefilling intenso e da una decodifica limitata. Oltre alla formulazione teorica e all’analisi della complessità, ampie valutazioni empiriche dimostrano la superiorità di Orthros sotto molteplici aspetti. Innanzitutto, ne verifichiamo le capacità fondamentali di modellazione del linguaggio, dimostrando che può scalare su modelli di dimensioni diverse e che è fortemente competitivo in confronti architetturali approfonditi. In secondo luogo, Orthros si presta particolarmente bene alla conversione da Transformer a Orthros con un uso efficiente dei dati, ottenendo prestazioni che superano persino quelle del Transformer originale. Infine, Orthros rende il prefilling $21.9\times$ più veloce rispetto ai Transformer e migliora l’inferenza end-to-end, preservando al contempo le capacità sui contesti lunghi, come mostrano risultati quasi perfetti nei test 128K di ricerca dell’ago nel pagliaio e prestazioni pari a quelle dei Transformer in compiti reali di richiamo di informazioni dal contesto. Nel complesso, questi vantaggi in termini di prestazioni elevate, flessibilità ed efficienza rendono Orthros un candidato promettente a succedere al Transformer nelle applicazioni industriali.