The Pulse
GPT-6 Astra modifica i pesi di Qwen, portando il punteggio in matematica al 48,1%
I ricercatori del MIT CSAIL affermano che GPT-6 Astra ha modificato lo 0,016% dei pesi di Qwen3.5-0.8B senza addestramento basato sui gradienti. Nella valutazione del gruppo, il modello modificato ha ottenuto il 48,1% su MATH-500, rispetto
AI.info Team · Scritto con l’IA · verificato ·
Il 2 novembre, quattro ricercatori del MIT CSAIL hanno descritto come hanno usato GPT-6 Astra per riscrivere direttamente una parte dei pesi di un altro modello, senza discesa del gradiente né cicli di addestramento. Il modello bersaglio era Qwen3.5-0.8B, la cui tendenza a ripetere il testo fino a raggiungere il limite di output ne penalizzava i risultati in matematica. Dopo che Astra ha modificato 131.072 degli circa 800 milioni di pesi del modello, il suo punteggio su MATH-500 è salito dal 7,9% al 48,1% nella valutazione dei ricercatori.
Astra ha preso di mira i cicli di ragionamento di Qwen
I ricercatori chiamano il metodo «Weight-Space Programming»: un modello linguistico esamina i parametri numerici di una rete neurale e li modifica per raggiungere un obiettivo espresso in linguaggio naturale. Per l’esperimento su Qwen, Astra ha lavorato in una sessione Python in cui erano stati caricati i pesi del modello e ha potuto effettuare fino a 50 passaggi in avanti su problemi di esercitazione tratti da GSM8K e MATH. Non ha ricevuto informazioni sui gradienti e non ha addestrato il modello, ma ha potuto esaminare gli output di quelle prove.
Astra ha ricondotto il comportamento ripetitivo a una direzione associata ai blocchi di percettroni multistrato del modello nei livelli 15 e 19. Ha sottratto quella direzione da 64 colonne di output in ciascun livello, modificando lo 0,016% dei pesi. Secondo i ricercatori, la modifica ha ridotto dal 93% al 33,1% la quota di risposte su MATH-500 che raggiungevano il limite di 32.768 token.
I miglioramenti sono andati oltre MATH-500
Con la stessa modifica effettuata in 50 passaggi, il punteggio di Qwen3.5-0.8B su GSM8K è salito dal 13,8% al 67,1%, mentre il suo punteggio IFEval nella capacità di seguire le istruzioni è aumentato dal 21,0% al 62,3%. Questi dati sono risultati della valutazione degli autori, che hanno usato benchmark di test separati che Astra non aveva visto mentre apportava la modifica. Il gruppo ha anche provato con un numero massimo inferiore di passaggi in avanti: con 10 e 25 passaggi, i punteggi su MATH-500 hanno raggiunto rispettivamente il 12,3% e il 14,1%, ben al di sotto del 48,1% ottenuto con 50.
Il post colloca il risultato su Qwen tra otto esperimenti volti a verificare se Astra fosse in grado di identificare il funzionamento delle reti a partire dai loro pesi, correggere un controller malfunzionante o scrivere da zero piccole reti. In un compito di controllo, una policy modificata ha superato un ostacolo in tutti i 1024 episodi di valutazione, dopo che la policy originale aveva fallito in 256. In un esperimento separato, Astra ha scritto una piccola rete in grado di giocare a Breakout, che ha ottenuto un punteggio di 517,4, contro i 25,3 della rete PPO dei ricercatori addestrata per 500 milioni di passaggi.
«Risultati molto preliminari», con un chiaro caso di insuccesso
La cautela dei ricercatori è esplicita: «I nostri risultati attuali mostrano che le capacità sono entusiasmanti ma ancora limitate, in particolare a causa delle inefficienze legate alla lunghezza del contesto e agli strumenti di supporto.» Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, ricercatori del MIT CSAIL. Il loro esperimento su Gemma 3 270M mostra un altro limite: Astra non è riuscito ad aumentarne in modo significativo il punteggio in matematica, che nelle modifiche testate è passato dal 6,8% a un massimo del 7,7%. Secondo gli autori, rimuovere un ostacolo specifico è diverso dal conferire a un modello una capacità che non possiede già.
I ricercatori hanno pubblicato i log degli esperimenti, i prompt, il codice, le valutazioni e i file dei pesi, e un checkpoint ricostruito di Qwen è disponibile su Hugging Face. La pagina del checkpoint riporta una ripetizione della prova con un punteggio del 51,0% su MATH-500, con il 31,6% delle risposte che raggiunge il limite di token. Il risultato principale del post rimane il punteggio del 48,1% ottenuto dai ricercatori; la ripetizione della prova offre un secondo risultato misurato per la modifica pubblicata.