The Pulse
I ricercatori di Apple riducono del 93% la latenza di ragionamento degli agenti multimodali
I ricercatori di Apple riferiscono che, nei test sugli agenti di ricerca multimodali, un metodo per selezionare passaggi di ragionamento già predisposti ha ridotto di oltre il 90% la latenza di ragionamento per turno. L’articolo presenta ri
AI.info Team · Scritto con l’IA ·
I ricercatori di Apple riferiscono di aver ridotto di oltre il 90% la latenza di ragionamento per turno degli agenti multimodali, facendo scegliere ai modelli un passaggio di ragionamento anziché generarlo parola per parola. Nei loro esperimenti, un modello da 4 miliardi di parametri che utilizzava questo approccio impiegava 0,061 secondi per ragionare a ogni turno, contro gli 0,896 secondi della sua controparte che generava liberamente il ragionamento. Il tempo totale di inferenza del modello per domanda è diminuito dal 28% al 54%, a seconda del metodo di addestramento.
Il lavoro, denominato Selection-Based Structured Reasoning (SSR), è stato presentato su arXiv il 1 ottobre e rivisto l’8 ottobre. La pagina di Apple dedicata alla ricerca lo indica come una pubblicazione dell’ottobre 2026. I risultati provengono da test di ricerca, non dall’annuncio di una funzionalità nei prodotti Apple.
Sei opzioni sostituiscono il ragionamento senza vincoli
SSR offre a un agente una serie fissa di sei brevi opzioni di ragionamento, redatte manualmente. Riguardano l’identificazione del soggetto di un’immagine tramite una ricerca per immagini, la ricerca di un fatto, l’esame di un dettaglio dell’immagine, la formulazione di una risposta sulla base delle prove raccolte, la formulazione di una risposta sulla base dell’immagine o il ricorso alle conoscenze generali. A ogni turno, il modello valuta le opzioni rispetto alla conversazione fino a quel momento e ne seleziona una; genera comunque la specifica query di ricerca, il ritaglio dell’immagine o la risposta che segue.
La modifica interviene su una fase sequenziale dei normali flussi di lavoro degli agenti: il modello deve generare ogni token di ragionamento prima di poter produrre l’azione successiva. SSR, invece, valuta in parallelo le opzioni predisposte, usando il modello stesso anziché una testa di classificazione separata. Il testo selezionato guida poi la fase di generazione dell’azione.
Per i modelli piccoli eseguiti sul dispositivo, con capacità di ragionamento limitate, testi lunghi e ragionamenti ripetuti possono comportare un dispendio inutile di risorse per la generazione senza fornire indicazioni utili a generare azioni migliori.
Feiyu Gavin Zhu e i coautori dell’articolo scrivono in Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
I test su Qwen3-VL mostrano turni più rapidi
I ricercatori hanno testato modelli Qwen3-VL da 2 e 4 miliardi di parametri su sette benchmark di ricerca multimodale, usando strumenti per la ricerca inversa per immagini, la ricerca testuale e il ritaglio delle immagini. Il loro modello da 4 miliardi di parametri, addestrato con Group Relative Policy Optimization (GRPO), ha raggiunto un tasso medio di successo del 61,37%, contro il 58,65% della sua controparte che generava liberamente il ragionamento. L’articolo confronta inoltre questo risultato con il 61,25% ottenuto da TAPO con GSPO, un modello di riferimento di primo piano per agenti di ricerca addestrati da 4 miliardi di parametri.
Nel confronto tra i modelli da 4 miliardi di parametri addestrati con GRPO, la latenza media del modello per domanda è scesa da 5,456 a 2,514 secondi. Secondo l’articolo, SSR ha ridotto la latenza di inferenza per domanda con tutti i metodi di addestramento testati, anche se l’entità della riduzione variava: il risultato del modello da 4 miliardi di parametri addestrato con GSPO, per esempio, è migliorato del 28,7%, mentre quello con GRPO è migliorato del 53,9%. Gli autori riferiscono anche lievi cali del tasso di successo di SSR con GSPO e SAPO, anziché miglioramenti uniformi dell’accuratezza.
I benchmark lasciano aperta la questione dell’impiego pratico
Le misurazioni della latenza sono state effettuate con una GPU NVIDIA H100 e un motore di inferenza SGLang offline. I ricercatori hanno analizzato 100 domande per benchmark; la loro misura della latenza del modello include il prefill, il ragionamento e la generazione delle azioni lungo l’intera traiettoria, ma esclude l’esecuzione degli strumenti e la valutazione. I tempi riportati nell’articolo, quindi, non stabiliscono quanto tempo un utente risparmierebbe in un flusso di ricerca completo o su un dispositivo Apple.
Una libreria fissa pone anche un limite a ciò che il metodo può esprimere: se un compito richiede una strategia di ragionamento ad alto livello assente dalle sei opzioni, l’agente non può selezionarla senza modificare la libreria. I ricercatori hanno riscontrato che ampliare la libreria da una voce generica a sei opzioni specifiche ha portato il tasso medio di successo sui benchmark dal 37,24% al 61,37%. Resta da verificare se i guadagni di velocità si mantengano con compiti più ampi, librerie più grandi e carichi di lavoro reali sui dispositivi.