La lunghezza costa poco, la competizione no: l’attenzione predice il deterioramento del contesto nel recupero

Abstract degli autori

Perché i modelli linguistici falliscono con input lunghi? La risposta più comune è la lunghezza. Mostriamo che, nel recupero, la lunghezza costa poco e la competizione no. Su cinque modelli open (da 0,5B a 3B di parametri, appartenenti a quattro famiglie), il testo riempitivo neutro non costa nulla: l’accuratezza rimane tra 0,97 e 1,00, fino a 32K token nel caso di Qwen2.5-1.5B. Gli enunciati nel formato delle evidenze, collocati nelle stesse posizioni, la fanno scendere tra 0,16 e 0,33. Un solo enunciato che assegna un valore concorrente alla chiave interrogata moltiplica la perdita per un fattore compreso tra 9 e 110, e ogni ulteriore concorrente la aumenta. All’interno del modello, una grandezza segue l’andamento del fallimento: la massa di attenzione che rimane sulle evidenze. Su 126.473 prove, spiega fino al 58% della varianza nella perdita; la lunghezza in logaritmi ne spiega al massimo l’8%. Il protocollo con testo riempitivo mascherato alla base dell’affermazione secondo cui è la sola lunghezza a penalizzare si replica su MMLU (perdita da 11 a 18 punti a 30K token), ma non supera un controllo con testo visibile nel recupero: il mascheramento costa 45 punti di accuratezza a 32K token, mentre lo stesso testo riempitivo, lasciato visibile, non costa nulla. Nel recupero, il deterioramento del contesto è una competizione per l’attenzione. Rendiamo disponibili la sonda e tutte le 126K misurazioni a livello di singola prova.