Steering senza etichette: comprimere l’apprendimento per rinforzo in fase di test nei sottospazi dei soli bias

Abstract degli autori

L’apprendimento per rinforzo in fase di test (TTRL) consente ai modelli di migliorare le proprie capacità di ragionamento senza ricorrere a dati di addestramento etichettati, ma gli approcci esistenti ottimizzano di norma una quota consistente dei parametri del modello. Sorge quindi una domanda: può esserci un adattamento efficace in fase di test quando sia il segnale di ricompensa sia lo spazio di ottimizzazione sono fortemente limitati? Rispondiamo con un metodo di TTRL senza etichette che ottimizza soltanto i bias: usa come ricompense pseudoetichette ottenute tramite voto di maggioranza e ottimizza solo ~100K parametri di bias, mantenendo invariati i pesi del modello preaddestrato. Su MATH-500, il nostro approccio raggiunge un’accuratezza del 76,67% con Qwen2.5-7B, superando di poco la nostra riproduzione del bias-steering con etichette pur ottimizzando 76.000 volte meno parametri rispetto al TTRL che ottimizza tutti i parametri. La stessa procedura di addestramento migliora le prestazioni nei compiti di ragionamento visivo-linguistico e su contenuti audio, tra cui MathVista, AI2D, LogicVista e MMAU. Mostriamo inoltre che i vettori di steering appresi si trasferiscono a 4.500 problemi di MATH tenuti fuori dall’addestramento, indicando che l’adattamento non si limita ai problemi usati durante l’ottimizzazione in fase di test. Infine, analizziamo perché un adattamento così vincolato possa funzionare: l’affidabilità del voto di maggioranza aumenta con il consenso tra i rollout e i sottospazi di bias con una maggiore energia del gradiente accessibile mostrano una maggiore capacità di apprendimento nei compiti a valle. Questi risultati dimostrano che un adattamento sostanziale in fase di test può emergere ottimizzando un minuscolo sottospazio dei soli bias con ricompense ottenute interamente senza etichette.