The Pulse
Raincheck riduce la latenza del primo token ripristinando il contesto eliminato dal pruning
Raincheck rinvia l’elaborazione di alcuni token multimodali invece di scartarli, consentendo a un modello di iniziare a rispondere prima e conservando il contesto per i turni successivi. I test hanno rilevato una minore latenza del primo to
AI.info Team · Scritto con l’IA · verificato ·
L’eliminazione definitiva dei token visivi tramite hard pruning può far sì che un modello multimodale risponda prima, ma rimuove in modo permanente dati di input che potrebbero servire per una domanda successiva. Un paper presentato ad arXiv il 29 ottobre propone Raincheck come compromesso: elaborare prima i token selezionati, poi occuparsi degli altri mentre il modello genera la risposta o attende tra un turno e l’altro.
Gli autori hanno testato Raincheck su Qwen3-VL-8B e Qwen3.5-9B. Mantenendo inizialmente il 30% dei token multimodali, la loro implementazione in SGLang ha ridotto fino al 24,1% il tempo medio necessario a generare il primo token del primo turno rispetto al prefill completo sul benchmark MultiVerse, con un aumento medio del tempo per token generato inferiore allo 0,5%.
I token vengono rinviati, non scartati
I modelli multimodali spesso impiegano tempo a elaborare grandi input di immagini o video prima di produrre un primo token. I metodi di pruning riducono l’attesa selezionando un sottoinsieme di token visivi, ma il materiale omesso non è disponibile se una domanda successiva vi fa riferimento.
Raincheck conserva i token non selezionati e ne esegue il prefill nell’ordine originale, a blocchi, durante la decodifica. Il modello può anche proseguire l’elaborazione dopo aver fornito una risposta, sfruttando gli intervalli disponibili nello scheduler; una richiesta successiva deve attendere se il contesto non è pronto. L’approccio cambia quindi il momento in cui i token vengono elaborati, non la necessità di elaborarli.
Per consentire questo aggiornamento dopo l’inizio della generazione non basta aggiungere token alla fine di una sequenza. Il paper descrive meccanismi di controllo dell’attenzione per inserire l’input rinviato prima dell’output già generato, oltre a una mappatura degli stati per i livelli ricorrenti di Qwen3.5. L’implementazione combina inoltre il prefill rinviato con la decodifica per condividere le letture dei pesi del modello.
La qualità viene recuperata, ma non in modo uniforme
Con una conservazione iniziale del 30%, Raincheck ha recuperato in media il 77,7% della qualità persa con l’hard pruning equivalente su MultiVerse e il 60,4% su ConvBench, considerando due modelli e quattro metodi di pruning. Si tratta di tassi di recupero rispetto alla differenza tra il prefill completo e la corrispondente esecuzione con hard pruning, non di un’affermazione secondo cui ogni risposta corrisponde a quella di un modello che ha ricevuto l’input completo. ConvBench è un benchmark di dialogo sulle immagini a tre turni; il benchmark video del paper è MT-Video-Bench.
Per esempio, con MMTok su MultiVerse, il punteggio aggregato di Qwen3-VL-8B è salito da 48,77 con hard pruning a 55,22 con Raincheck, vicino al 55,43 ottenuto con prefill completo. Su Qwen3.5-9B, i punteggi corrispondenti erano 37,53, 43,12 e 44,90.
«Su MultiVerse, l’implementazione in SGLang riduce il TTFT medio del primo turno fino al 24,1% rispetto al prefill completo, con un aumento del tempo medio per token generato (TPOT) inferiore allo 0,5%».
Wenjie Huang e gli altri autori del paper scrivono in «Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference».
I test video mostrano un compromesso sulla latenza
Il risultato in termini di velocità dipende dall’input. Su MultiVerse, il tempo necessario a generare il primo token del primo turno è diminuito del 24,1% per Qwen3-VL-8B e del 17,9% per Qwen3.5-9B rispetto al prefill completo, mentre il tempo medio per token generato è aumentato rispettivamente dello 0,13% e dello 0,47%. Su MT-Video-Bench, la latenza del primo token è diminuita di circa il 13% e il 12%, ma il tempo medio per token generato è aumentato rispettivamente del 19,93% e del 14,92%.
Anche con questa decodifica più lenta, la latenza media complessiva nei test video è stata inferiore rispetto al prefill completo del 4,83% per Qwen3-VL-8B e del 6,56% per Qwen3.5-9B. Il paper osserva che l’hard pruning completa comunque le risposte più rapidamente di Raincheck, perché non impiega capacità di decodifica per ripristinare i token.
Il test lascia aperte questioni sull’impiego
Le misurazioni di sistema riportate sono state effettuate con una sola richiesta in esecuzione su una singola GPU NVIDIA H20 per worker, elaborando al massimo 31 token rinviati insieme a ogni token di decodifica. Gli autori affermano che le misurazioni definiscono il compromesso dell’esecuzione sullo stesso dispositivo con batch di dimensione uno; l’erogazione con batch, la decodifica speculativa e altre architetture ricorrenti richiedono una valutazione separata.
Il paper afferma inoltre che Raincheck lascia invariata la codifica delle modalità. Una domanda successiva posta subito può comportare un’attesa mentre viene completato il contesto rimanente. Il risultato centrale del paper è più circoscritto: sui modelli e sui carichi di lavoro testati, un sistema può ridurre il ritardo della prima risposta senza eliminare definitivamente i token visivi da cui potrebbero dipendere le domande successive.