The Pulse
JOLT segnala un uso di token di addestramento 6,5 volte inferiore su MATH
I ricercatori di Perplexity presentano JOLT, un metodo che addestra un unico modello linguistico a svolgere sia il ruolo di insegnante sia quello di studente. Su MATH, riferiscono di aver raggiunto la stessa accuratezza di GRPO con un numer
AI.info Team · Scritto con l’IA · verificato ·
«Di conseguenza, anche un insegnante dalle prestazioni migliori può fornire indicazioni che peggiorano le prestazioni dello studente.»
Randy Ardywibowo, Arnav Dalal e Jiantao Jiao, autori dell’articolo
Un solo modello svolge entrambi i ruoli
I ricercatori di Perplexity hanno presentato JOLT, abbreviazione di Joint On-Policy Learning and Teaching, in un articolo di ricerca pubblicato il 21 ottobre. Il metodo addestra un unico modello ad agire sia da insegnante, con accesso a informazioni privilegiate come una soluzione verificata, sia da studente, che affronta il compito senza quelle informazioni.
L’approccio mira a superare un limite dell’apprendimento per rinforzo basato sul risultato: un modello può ricevere una ricompensa solo dopo aver completato un compito lungo, ottenendo così poche informazioni su quali decisioni intermedie siano state utili. La distillazione on-policy offre indicazioni più fitte, token per token, da parte di un insegnante. Ma, sostengono gli autori, la soluzione dell’insegnante può basarsi su informazioni o scorciatoie che lo studente non può usare.
JOLT addestra congiuntamente i due ruoli. Lo studente apprende dalle indicazioni dell’insegnante a livello di token sui propri tentativi. L’insegnante, intanto, riceve ricompense basate sul risultato e una penalità se si discosta troppo dal comportamento dello studente. Perplexity definisce l’obiettivo «incontrare lo studente al punto in cui si trova»: rendere il feedback dell’insegnante utile al modello che lo riceve, anziché ottimizzare soltanto le prestazioni dell’insegnante nel compito.
Il confronto del 6,5× usa una curva adattata ai risultati
Il risultato più chiaro sull’efficienza arriva dal benchmark MATH, per il quale i ricercatori hanno addestrato Qwen3-0.6B e fornito all’insegnante soluzioni di riferimento svolte. A un’accuratezza equivalente del 63,44%, il checkpoint osservato di GRPO aveva utilizzato 8,40 milioni di token di addestramento elaborati. La curva di JOLT adattata ai risultati raggiunge la stessa accuratezza a 1,30 milioni di token: un numero 6,5 volte inferiore, secondo gli autori.
Non si tratta di un confronto tra due checkpoint osservati: il dato di GRPO proviene da un checkpoint, mentre quello di JOLT deriva da una curva adattata ai risultati ottenuti con diversi budget di addestramento. La misura dei token elaborati comprende i prompt senza padding, il contesto privilegiato, i passaggi di ottimizzazione e la valutazione incrociata tra insegnante e studente, non soltanto le risposte generate dal modello.
I ricercatori confrontano anche i token di completamento, una misura più ristretta che conta i completamenti dello studente per GRPO e OPSD e quelli sia dell’insegnante sia dello studente per JOLT, ma esclude prompt, contesto privilegiato e passaggi aggiuntivi di ottimizzazione. Su questa base, riferiscono un numero di token di completamento circa 13 volte inferiore alla stessa accuratezza su MATH. Per una serie di livelli di accuratezza prefissati, l’articolo riporta che JOLT ha usato un numero di token di completamento 9,5–14,4 volte inferiore e un numero di token di addestramento elaborati 4,3–7,4 volte inferiore.
JOLT e JOLT+ ottengono risultati diversi
La distinzione tra JOLT e JOLT+ è importante. JOLT addestra insieme insegnante e studente, senza assegnare allo studente ricompense dirette basate sul risultato. Nei test dei ricercatori, la sua accuratezza media ha superato quella di GRPO su GSM8K, MATH e LiveCodeBench v6, ma è rimasta inferiore a quella di GRPO e π-Distill su AppWorld.
JOLT+ aggiunge ricompense basate sui risultati dei tentativi dello studente stesso. Perplexity riferisce che ha ottenuto il punteggio medio più alto tra i metodi testati in ogni configurazione dei benchmark. Rispetto a GRPO, i miglioramenti riportati sono stati di 1,5 punti percentuali su GSM8K, 4,2 su MATH, 3,0 su LiveCodeBench v6 e 9,9 su AppWorld. Su Terminal-Bench 2.1, JOLT+ ha raggiunto un tasso di superamento del 10,96% a pass@1, con un miglioramento di 2,7 punti rispetto a GRPO.
Gli autori segnalano un limite nel test di efficienza
L’articolo spiega che l’insegnante ideale guiderebbe lo studente in una direzione allineata con il gradiente della ricompensa dello studente stesso. In pratica, i vantaggi delle continuazioni dello studente — il valore atteso delle sue prossime azioni — non sono generalmente disponibili. JOLT usa quindi come sostituto i ritorni centrati dei tentativi generati dall’insegnante. Gli autori avvertono esplicitamente che la sostituzione non è esatta: i ritorni dell’insegnante non corrispondono necessariamente ai vantaggi delle continuazioni dello studente.
Questa avvertenza, insieme al confronto basato sulla curva adattata ai risultati, contestualizza il principale risultato sull’efficienza. I benchmark riportati mostrano risultati promettenti per i modelli e i compiti testati, ma l’articolo non dimostra che gli stessi risparmi si otterranno con modelli di altre dimensioni o in altre configurazioni di addestramento. Perplexity afferma di voler rendere il codice open source; l’articolo del 21 ottobre non annuncia una data di rilascio.