Periscope: estendere i modelli linguistici congelati oltre la loro finestra di contesto

Abstract degli autori

Un modello linguistico legge un testo lungo con un’unica passata in avanti di costo quadratico, si ferma alla finestra di contesto e perde accuratezza all’aumentare della lunghezza, ancor prima di raggiungerne il limite. Ci chiediamo se sia possibile scomporre la lettura quando si deve scegliere fra un insieme finito di possibilità: quale documento è pertinente, quale opzione è supportata, quale passaggio costituisce la prova. Periscope, un metodo di inferenza che non richiede addestramento, dispone gli $N$ chunk di un testo su una griglia $K{\times}K$ con $K{=}\lceil\sqrt{N}\rceil$ e pone a un modello congelato la stessa domanda su $K$ porzioni locali di chunk consecutivi e $K$ porzioni che campionano l’intero testo a intervalli regolari, rilevando il logaritmo del rapporto tra le probabilità di ogni risposta in corrispondenza di un solo token. Per ogni risposta si prendono il miglior punteggio locale e il miglior punteggio del campionamento a intervalli regolari. Assegnando poi a ogni chunk un punteggio basato sulle due porzioni a cui appartiene, si ottiene senza costi aggiuntivi una mappa delle prove, il cui picco individua il chunk alla base della risposta. Per un testo di $s$ token e chunk di dimensione $c$, ogni interrogazione riguarda circa $\sqrt{sc}$ token: una finestra di $W$ token può quindi coprire $W^{2}/c$ token con un costo pari a $s^{1.5}$. La mappa sostituisce la lettura integrale del testo lungo. Su LongBench v2, leggere soltanto i $K$ chunk che la mappa colloca ai primi posti, pari a 9k token, eguaglia la migliore lettura entro la finestra dello stesso modello con finestre da 32k a 1M token. Su InfiniteBench, dove la lunghezza mediana del contesto è di 150k token, la supera di 5 punti. La stessa mappa classifica i corpora di documenti lunghi di BRIGHT ottenendo il miglior NDCG@10 tra sei metodi. Ogni chiamata conserva nella cache soltanto una singola interrogazione: un modello 27B può così leggere contesti di 4,5M token su una sola GPU da 80GB, mentre una singola passata richiederebbe 296GB di cache. Per leggere un testo lungo serve dunque una GPU capace di contenere il modello, non una capace di contenere il testo.