The Pulse
LLM-42 di Microsoft rende selettiva l’inferenza deterministica
LLM-42 usa un percorso di decodifica rapido e una fase di verifica per rendere ripetibili alcune richieste ai modelli linguistici senza rallentarle tutte. La valutazione riporta una produttività superiore a quella di SGLang in modalità dete
AI.info Team · Scritto con l’IA ·
«LLM-42 riutilizza perlopiù i kernel esistenti senza modificarli e comporta un sovraccarico proporzionale soltanto al traffico che richiede determinismo.»
Scrivono gli autori di LLM-42
LLM-42 arriva al SOSP
Le attività in programma della 32ª edizione dell’ACM Symposium on Operating Systems Principles iniziano a Praga martedì 29 settembre, con le registrazioni e i workshop; gli interventi introduttivi sono previsti per mercoledì 30 settembre. LLM-42, dei ricercatori di Microsoft Research e della University of Washington, è nel programma, con una presentazione prevista per venerdì 2 ottobre. Il paper propone un modo per rendere ripetibili alcune richieste ai modelli linguistici senza obbligare tutte le richieste a passare per kernel GPU deterministici più lenti.
La presentazione alla conferenza non è la prima diffusione pubblica del paper: l’attuale preprint su arXiv, versione 2, è datato 30 gennaio 2026. La prima versione, presentata il 25 gennaio, indicava cinque autori, tra cui Arkaprava Basu; la versione 2 e la pagina della pubblicazione di Microsoft Research indicano Raja Gond, Aditya K Kamath, Ramachandran Ramjee e Ashish Panwar. Il paper indica Gond, Ramjee e Panwar come affiliati a Microsoft Research e Kamath alla University of Washington. Il lavoro affronta un problema di sistema: prompt e impostazioni di decodifica identici possono produrre output diversi quando il batching dinamico cambia il modo in cui vengono raggruppate le operazioni sulla GPU.
Un percorso rapido, poi una verifica
LLM-42 mantiene la normale decodifica con batching dinamico come percorso rapido. Genera una finestra di token candidati, poi li riesegue in un verificatore usando uno schema di riduzione a forma fissa. Il verificatore rilascia i token che superano il controllo e annulla i candidati che non lo superano, ricalcolando a partire dall’ultimo stato coerente.
Il progetto si ispira alla decodifica speculativa, in cui i token candidati vengono controllati prima di essere accettati, ma usa la verifica per garantire la ripetibilità anziché per accelerare la normale decodifica. Secondo il paper, le richieste attivano questa modalità tramite un flag is_deterministic; quelle che non richiedono un output deterministico saltano la verifica. La garanzia vale a parità di modello e impostazioni di campionamento, non con temperature o parametri di campionamento diversi, che possono produrre intenzionalmente output differenti.
La motivazione sta nell’aritmetica alla base dell’inferenza. L’addizione in virgola mobile non è associativa e i kernel GPU possono cambiare l’ordine delle riduzioni al variare della forma dei batch. Disattivare il batching dinamico o usare kernel invarianti rispetto ai batch può eliminare quella fonte di variabilità, scrivono i ricercatori, ma questi approcci possono limitare le prestazioni dei kernel e richiedere implementazioni specializzate.
I test mostrano vantaggi quando solo alcune richieste devono essere ripetibili
I ricercatori hanno valutato LLM-42 con Llama-3.1-8B-Instruct su quattro GPU NVIDIA H100 PCIe, confrontandolo con SGLang 0.5.3rc0 nelle modalità deterministica e non deterministica. I carichi di lavoro includevano ShareGPT e un dataset ArXiv, oltre a lunghezze sintetiche degli input e degli output. In un esempio riportato, quando una richiesta su un batch di 11 richiedeva un output deterministico, LLM-42 ha raggiunto 911 token al secondo: 2,2 volte la produttività di SGLang in modalità deterministica e a meno del 3% dalla sua modalità non deterministica.
Nel complesso dei test offline, il paper riporta che, con una quota del 10% di richieste deterministiche, LLM-42 è stato il 33% più veloce di SGLang in modalità deterministica su ShareGPT e fino al 48% più veloce su un carico di lavoro sintetico con 2.048 token di input e 256 token di output. Il vantaggio si è ridotto quando ogni richiesta richiedeva un output deterministico: su ShareGPT, LLM-42 è stato il 6% più lento di SGLang in modalità deterministica. Gli autori riportano inoltre che i token ricalcolati hanno raggiunto al massimo il 10,97% nelle configurazioni testate, nel carico di lavoro ArXiv quando tutto il traffico richiedeva un output deterministico.
Il prototipo continua a mettere in pausa le altre richieste
Le misurazioni provengono da un prototipo di ricerca, non da un’implementazione generale in produzione. Il paper individua due limiti attuali nell’elaborazione online delle richieste: la verifica crea una pausa globale che blocca temporaneamente le richieste in corso e il prefill non viene eseguito in batch, riducendo l’efficienza per i prompt brevi. Gli autori affermano che questi problemi di implementazione restano da risolvere.
Attualmente LLM-42 non si integra neppure con i sistemi di inferenza che già usano la decodifica speculativa convenzionale. Il suo contributo è più circoscritto: offre un modo per ottenere selettivamente output riproducibili, mantenendo per le altre richieste l’esecuzione ordinaria sul percorso rapido. Il codice, basato su SGLang, è disponibile nel repository LLM-42 di Microsoft.