Meccanica dei modelli ibridi a contesto lungo, parte 1.1: dall’attenzione ibrida alla posizione ibrida

Abstract degli autori

L’architettura dei modelli linguistici di grandi dimensioni (LLM) si sta spostando dai tradizionali modelli basati esclusivamente sull’attenzione completa verso modelli ibridi, che combinano diversi moduli di attenzione per migliorare l’efficienza sui contesti lunghi e le prestazioni nell’estrapolazione della lunghezza e nell’estensione del contesto. Per spiegare perché i modelli ibridi funzionano e come progettarli meglio, proponiamo Mechanics of Long-Context Hybrid Models. Nella parte 1.1 di questa serie, partiamo da modelli che combinano l’attenzione completa con l’attenzione a finestra scorrevole (SWA) oppure con varianti dell’attenzione lineare (LA) dotate di meccanismi di gating, rappresentate da GLA e GDN. Osserviamo anzitutto un effetto altalena nell’estensione del contesto: i modelli ibridi con LA traggono maggior beneficio dal preaddestramento continuo su contesti lunghi, mentre quelli con SWA ottengono risultati migliori nell’estrapolazione della lunghezza. Attribuiamo questo comportamento alle differenze nei bias induttivi posizionali prodotti da questi meccanismi di attenzione. Riscontriamo che i modelli ibridi con SWA soffrono di una trappola dell’apprendimento su contesti brevi, di un affaticamento da finestra corta e di un’inerzia da finestra lunga, e che richiedono finestre più ampie per migliorare le prestazioni nel preaddestramento continuo su contesti lunghi. Per i modelli ibridi con LA, riassumiamo l’effetto Matteo nell’estrapolazione della posizione ibrida e proponiamo Sliding-Window Linear Attention, che ottiene un’estrapolazione della lunghezza di 16$\times$ senza ulteriore addestramento, mantenendo un’accuratezza del 100\% su NIAH-SK1 con una lunghezza del contesto di 64k.