The Pulse
Apple sperimenta brevi indicazioni scritte dal modello stesso per i compiti difficili nell’apprendimento per rinforzo
Il metodo RLTL;DR di Apple addestra un modello linguistico a ricavare brevi indicazioni dai tentativi falliti e dal feedback di un verificatore, per applicarle ai compiti successivi. Nei test su difficili problemi di programmazione e uso di
AI.info Team · Scritto con l’IA ·
Il 1° ottobre Apple ha presentato RLTL;DR, un metodo che fornisce a un modello linguistico una breve nota ricavata dai suoi tentativi falliti e lo addestra a far tesoro della lezione nei compiti futuri. La tesi dell’articolo è circoscritta ma significativa: un feedback breve e generato dal modello stesso può offrire una via d’uscita all’apprendimento per rinforzo quando il modello non riesce quasi mai a risolvere un compito per caso.
Quando 128 tentativi non producono alcun successo
Molti sistemi di apprendimento per rinforzo usano ricompense verificabili: un modello prova a svolgere un compito, un verificatore giudica se ci è riuscito e l’addestramento favorisce i tentativi riusciti. Questo meccanismo di feedback si blocca davanti a problemi così difficili che nessuno dei tentativi del modello va a buon fine. Gli autori studiano questa situazione, in cui il segnale di apprendimento è scarso e presumono inoltre che non ci siano né un modello insegnante più potente né una soluzione nota da copiare.
Gli esperimenti usano una policy Qwen 3.5 9B Thinking su dataset di programmazione e chiamate a strumenti particolarmente difficili, filtrati per includere compiti con un Pass@128 pari a zero: nessun successo in 128 tentativi. Secondo l’articolo, il metodo standard Group Relative Policy Optimization, o GRPO, è rimasto su un Pass@1 compreso tra lo 0% e l’1% per quei compiti. Pass@1 misura il successo in un singolo tentativo.
Il feedback del verificatore diventa una breve indicazione
Dopo un tentativo fallito, RLTL;DR fornisce alla policy l’output del verificatore e le chiede di scrivere una sola indicazione concisa. Il tentativo successivo riceve le indicazioni accumulate, così il modello può usare il feedback dei fallimenti precedenti mentre continua a provare. Gli autori affermano che le indicazioni sono lunghe in media 17 token e tendono a individuare una singola azione correttiva, anziché fornire una risposta completa o codice corretto.
«Abbiamo individuato che la chiave è l’interiorizzazione del legame tra compito e indicazione», scrivono Michael Kirchhof e i coautori nel loro articolo. Durante l’addestramento, il metodo esegue anche la retropropagazione attraverso i token dell’indicazione, insegnando alla policy ad associare tipi di compiti a indicazioni utili. La pagina di ricerca di Apple riporta un Pass@1 compreso tra il 14% e il 31% quando le indicazioni sono presenti nel contesto di addestramento; nei tentativi di valutazione senza un’indicazione presente, l’intervallo riportato è tra il 12% e il 13%.
I miglioramenti dipendono da ciò che si misura
La valutazione senza indicazioni è importante perché verifica se l’addestramento abbia cambiato la policy, anziché limitarsi a mostrare che un’indicazione aiuta durante il tentativo. I risultati suggeriscono che il modello possa interiorizzare alcune delle indicazioni e applicarle senza rivedere la nota. Non dimostrano che il metodo risolva ogni compito difficile: nei risultati dettagliati dell’articolo, le prestazioni variano tra i dataset e gli autori segnalano timori di overfitting su LeetCode.
Il lavoro distingue inoltre il metodo proposto da una tesi più ampia sull’apprendimento per rinforzo in generale. Sulle partizioni dei dataset degli autori con difficoltà normale, dove alcuni compiti forniscono già un segnale di apprendimento, RLTL;DR in genere non migliora né peggiora i risultati rispetto a GRPO, con un’eccezione su LeetCode. L’articolo presenta l’approccio come un modo per addestrare il modello su compiti particolarmente difficili, non come un sostituto dell’apprendimento per rinforzo standard in ogni situazione.
Quattromila esempi di compiti e indicazioni
In un ulteriore esperimento, gli autori semplificano il metodo in SFTL;DR. Questa versione si addestra soltanto su coppie di compiti e indicazioni, senza mostrare al modello i tentativi completi né eseguire la retropropagazione attraverso di essi. Secondo l’articolo, l’addestramento su 4.000 coppie di questo tipo ha permesso di recuperare quasi tutte le prestazioni di RLTL;DR e del fine-tuning supervisionato convenzionale su rollout completi.
Il risultato indica un segnale di addestramento compatto: un breve promemoria su ciò che va tenuto presente per un certo tipo di compito. Ma i risultati restano legati ai compiti selezionati, al modello e alla configurazione della valutazione descritti nell’articolo. Il principale risultato misurato dagli autori è che, sui compiti per i quali nessuno dei 128 tentativi iniziali aveva avuto successo, RLTL;DR ha raggiunto un Pass@1 tra il 12% e il 13% nella valutazione senza un’indicazione nel contesto.