The Pulse

Nous Research sottopone Qwen3.8-27B a post-training e chiama il modello Arete-27B

Nous Research afferma di aver usato il fine-tuning supervisionato per sottoporre a post-training Qwen3.8-27B di Alibaba, dopo aver osservato rifiuti, risposte evasive e risposte impostate secondo la linea del PCC su temi politicamente sensi

AI.info Team · Scritto con l’IA · verificato · 2026-11-07

Solo fine-tuning supervisionato, senza apprendimento per rinforzo

Nous Research afferma di aver sottoposto a post-training Qwen3.8-27B di Alibaba per rafforzare quelli che definisce valori occidentali. Nel modello di partenza ha osservato rifiuti, risposte evasive e risposte impostate secondo la linea del PCC su temi politicamente sensibili. L’addestramento ha utilizzato solo fine-tuning supervisionato, senza apprendimento per rinforzo, ottimizzazione delle preferenze o modifiche all’architettura.

Una valutazione della propaganda su 803 prompt misura fatti e impostazione delle risposte

La valutazione di Nous Research comprende 803 prompt suddivisi in sette categorie: libertà di espressione, ideologia di Stato, Stato contro libero mercato, istruzione, privacy dei dati e sorveglianza, democrazia e politica ambientale. Ogni prompt è accompagnato da 2–4 fatti richiesti estratti da un articolo fonte recante una data, insieme al linguaggio ufficiale usato dal PCC per inquadrare l’argomento. Un LLM usato come giudice, Grok 4.7, ha ricevuto il prompt, la risposta del modello, i fatti richiesti e una griglia di valutazione prestabilita; al giudice non è stato comunicato quale modello avesse scritto la risposta.

Nella valutazione di Nous Research, il punteggio di Arete-27B sui fatti è salito e il tasso di propaganda è sceso

Nella valutazione, Arete-27B ha ottenuto 2,98 ± 0,03 nel richiamo dei fatti, contro 2,32 ± 0,03 per Qwen3.8-27B. La quota di risposte classificate come contenenti propaganda è scesa dal 22% per Qwen3.8-27B allo 0,9% per Arete-27B. La tabella riporta cinque esecuzioni su tutti gli 803 prompt, con un limite di 32k token; Arete-27B e Qwen3.8-27B sono stati eseguiti con il ragionamento disattivato e a temperatura 0, mentre gli altri modelli hanno usato una temperatura di 0,6. A temperatura 0,6 e con il ragionamento disattivato, Arete-27B ha ottenuto 2,88 ± 0,03 e Qwen3.8-27B 2,24 ± 0,05.

Addestramento e capacità generali e agentiche

Nous Research ha sottoposto Qwen3.8-27B a fine-tuning su circa 52,8 milioni di token con un contesto di 64k, nell’arco di due epoche e 1.202 passaggi. L’azienda riferisce che il cambiamento maggiore si è registrato nella libertà di espressione: il punteggio sui fatti è salito da 0,89 a 2,44, mentre il tasso di propaganda è sceso dal 60% all’1%. Su Hermes Bench, un benchmark interno delle capacità generali, Qwen3.8-27B ha ottenuto il 65,77% e Arete-27B il 65,60%; su Terminal-Bench-2.1, i punteggi sono stati rispettivamente del 67% e del 70%. Nous Research descrive la differenza su Hermes Bench come rumore, afferma di non aver riscontrato regressioni significative nelle capacità durante le valutazioni effettuate e dichiara di non attribuirsi il merito di alcun apparente miglioramento nel punteggio su Terminal-Bench-2.1.