Aggirare il limite di calcolo: la memoria esatta al byte di Galahad rende la lettura un costo una tantum per gli LLM La lettura diventa un costo una tantum per gli LLM

Abstract degli autori

Un modello linguistico transformer esegue una quantità limitata di calcoli per token e, secondo un recente lavoro di Vishal Sikka, ex CEO di Infosys, questo limite restringe i compiti che un modello può svolgere o verificare (arXiv:2507.07505). Ci chiediamo quanta parte del budget disponibile sotto quel limite sia spesa per attività che il modello ha già svolto. Tra una richiesta e l’altra, il servizio non conserva lo stato: quando un modello risponde a una seconda domanda su un documento, ricalcola lo stato di attenzione del documento a partire dal primo token. In sette dataset reali, il 98,7% dei token nei prompt era testo che il modello aveva già letto. Presentiamo Galahad, un livello di memoria per vLLM, SGLang e llama.cpp che rende questa lettura un costo una tantum. Taliesin salva lo stato key-value (KV) del modello per un blocco di testo e lo carica alla richiesta successiva che contiene gli stessi byte, anziché ricalcolarlo. Blaise conserva i documenti stessi e passa al modello solo la sezione necessaria per rispondere a una domanda. In un test di recupero di 100 fatti nascosti in un corpus di 97.000 token (Gemma 4 31B), Taliesin da solo ha permesso al modello di prestare attenzione all’intero corpus e di rispondere correttamente a 98 domande su 100 con llama.cpp, impiegando 3,0 s e 572 J per domanda. Senza Galahad, lo stesso modello poteva conservare solo gli ultimi 12.000 token e ha risposto correttamente a 10 domande su 100, impiegando 9,3 s e 2.754 J per domanda. Con l’aggiunta di Blaise, il modello ha letto circa 668 token per domanda e ha risposto correttamente a 100 domande su 100 su tutti e tre i runtime, impiegando 0,59-0,64 s e 200-213 J; una pipeline RAGFlow ottimizzata ha risposto correttamente a 77 domande. Memorizzare il corpus ha un costo una tantum di circa 100 s e 28 kJ, la cui energia viene recuperata dopo 13 domande. Lo stato ripristinato è identico bit per bit: tutti i 262.144 logit in uscita coincidevano dopo il riavvio, la reidratazione e il caricamento a caldo. Galahad ha funzionato con tutti i 30 modelli che abbiamo testato su vLLM e adotta una politica fail-closed: ogni caricamento che non supera i suoi controlli viene ricalcolato. Nel loro insieme, questi risultati portano il servizio dei modelli linguistici da un’inferenza senza stato a un’inferenza con stato.