CURIO: apprendimento in fase di test guidato dalla curiosità per la scoperta aperta

Abstract degli autori

La scoperta aperta richiede di imparare da tentativi ripetuti, continuando a esplorare direzioni il cui valore non è ancora evidente. La ricerca con un modello linguistico di grandi dimensioni (LLM) non aggiornabile può riutilizzare nel contesto soluzioni precedenti, ma non può aggiornare il modello in base ai successi e agli insuccessi ottenuti sul problema di test. L’apprendimento per rinforzo (RL) consente questo adattamento; tuttavia, privilegiare nettamente le traiettorie con ricompense elevate può escludere troppo presto direzioni che, pur producendo ricompense basse, potrebbero rivelarsi promettenti. Presentiamo CURIO, un framework di apprendimento in fase di test guidato dalla curiosità che affianca al feedback sul compito un Intrinsic Curiosity World Model (ICWM). L’ICWM apprende le transizioni nella rappresentazione degli stati nascosti della policy e assegna bonus basati sull’errore di previsione ai token campionati al di fuori delle prime k scelte della policy. La normalizzazione per epoca e un peso ridotto gradualmente regolano il contributo di questi bonus all’aggiornamento della policy. Su sei compiti di scoperta matematica e nel denoising di dati di singole cellule, con modelli di base Qwen3 da 8B a 235B, le medie di tre esecuzioni migliorano rispetto a un controllo RL equivalente basato solo sul compito per cinque obiettivi matematici, eguagliano le migliori prestazioni riportate su Circle Packing e migliorano lo Score del denoising e l’errore quadratico medio (MSE) su entrambi i corpora tenuti da parte, a tutte le scale testate. I miglioramenti relativi raggiungono il 18,3% su Hadamard e il 10,8% nello Score del denoising. Le misure della diversità del codice mostrano una maggiore varietà strutturale tra i programmi generati, a sostegno della curiosità come segnale di esplorazione complementare per l’apprendimento nella scoperta aperta.