The Pulse
Aleph Alpha rileva risposte in linea con il Partito comunista cinese nei modelli linguistici cinesi
Aleph Alpha riferisce che sei modelli cinesi a pesi aperti hanno dato risposte equilibrate a una quota compresa tra il 17% e il 41% dei prompt su temi politicamente sensibili. Segnala inoltre che NVIDIA’s Nemotron Cascade 2 è stato classifi
AI.info Team · Scritto con l’IA ·
Il 28 settembre Aleph Alpha ha pubblicato i risultati di un benchmark in cui sei modelli linguistici cinesi a pesi aperti hanno dato risposte equilibrate soltanto a una quota compresa tra il 17% e il 41% dei prompt su temi politicamente sensibili. Secondo l’azienda, i sistemi esaminati hanno spesso ripreso le posizioni del Partito comunista cinese o si sono rifiutati di rispondere. Ha inoltre riscontrato risposte simili in NVIDIA’s Nemotron Cascade 2 e le collega a un piccolo numero di esempi generati da modelli cinesi nei dati usati per il fine-tuning del modello.
Il benchmark comprendeva 967 prompt su 56 argomenti, tra cui Taiwan, Tibet, Hong Kong, la censura e le proteste di piazza Tiananmen del 1989. Aleph Alpha ha usato un LLM come giudice per suddividere le risposte in tre categorie: risposte che riprendono l’impostazione del Partito comunista cinese, risposte equilibrate e rifiuti di rispondere.
«Nel nostro benchmark di 967 prompt su temi politicamente sensibili, sei modelli cinesi hanno risposto in modo equilibrato solo a una quota compresa tra il 17% e il 41% dei prompt»,
scrive Bastian Boll, indicato come autore del post.
I rifiuti di rispondere contribuiscono ad alcuni dei punteggi di adesione alla linea del partito
I risultati variano a seconda del modello e del tipo di risposta. Secondo Aleph Alpha, Qwen 3.6 35B-A3B ha ripreso l’impostazione del Partito comunista cinese nell’80% delle risposte del benchmark e ha dato risposte equilibrate nel 17% dei casi. DeepSeek V4 Pro 0813, invece, ha ripreso tale impostazione nel 16% delle risposte, ha dato risposte equilibrate nel 18% dei casi e si è rifiutato di rispondere nel 66% dei casi.
Questa distinzione è importante: il benchmark non considera ogni rifiuto di rispondere una forma di allineamento politico. Aleph Alpha classifica un rifiuto come allineato al Partito comunista cinese quando il modello presenta la legge cinese come una regola che deve seguire, anziché rifiutare perché una richiesta potrebbe mettere qualcuno a rischio. L’azienda riconosce che la distinzione può essere difficile e afferma che il giudice potrebbe introdurre distorsioni.
In un secondo test, l’azienda ha usato 240 prompt che non menzionavano la Cina, per verificare se risposte allineate al Partito comunista cinese comparissero nelle discussioni su altri Paesi o su temi politici più ampi. Riferisce che Kimi K3 ha ripreso l’impostazione del partito nel 93% di quelle risposte, mentre gli altri cinque modelli cinesi hanno registrato percentuali comprese tra il 2,1% e il 13%. Secondo Aleph Alpha, questo comportamento non è emerso in tutti i modelli esaminati.
In Nemotron Cascade 2 l’effetto si estende in misura minore
Aleph Alpha ha sottoposto anche NVIDIA’s Nemotron Cascade 2 al benchmark di 967 prompt. Ha rilevato risposte allineate al Partito comunista cinese nel 17% dei casi; il 75% è stato giudicato equilibrato e il 7% è costituito da rifiuti di rispondere. L’azienda afferma di aver trovato circa 3.500 righe contenenti argomentazioni del Partito comunista cinese tra i 9,3 milioni di righe di chat presenti nei dati pubblicati per il fine-tuning supervisionato del modello.
Il post individua in quei dati la via più probabile attraverso cui i contenuti politici sono entrati in Nemotron Cascade 2: secondo Aleph Alpha, gli esempi sono stati generati in gran parte con DeepSeek e Qwen. L’azienda presenta questa come una spiegazione probabile, non come la prova che quegli esempi, da soli, abbiano causato le risposte del modello. Afferma inoltre che l’effetto è stato più debole dell’allineamento diretto misurato nei modelli cinesi e che, nei prompt su argomenti non riguardanti la Cina, non ha trovato un’analoga deferenza verso le posizioni del Partito comunista cinese.
Un benchmark con dei limiti e un avvertimento sui dati di addestramento
Aleph Alpha ha costruito il benchmark selezionando 56 argomenti, generando prompt con GPT-OSS 120B e applicando filtri di qualità; lo stesso modello ha giudicato le risposte. I risultati costituiscono quindi una valutazione dell’azienda, non una verifica indipendente, e il giudizio dipende in parte da come il test definisce una risposta equilibrata. La riserva espressa dall’azienda stessa sulla possibile presenza di distorsioni nel giudice è particolarmente rilevante quando le categorie distinguono l’allineamento politico da un rifiuto motivato dalla sicurezza.
L’avvertimento pratico dello studio riguarda il nesso tra dati di addestramento e comportamento del modello. Aleph Alpha afferma di esaminare i dati usati per il fine-tuning alla ricerca di contenuti politici cinesi, di aggiungere esempi volti a definire il comportamento desiderato e di testare i modelli con prompt politici. Il risultato specifico è di portata limitata ma concreto: una piccola quota dei dati di chat di Nemotron Cascade 2 conteneva quelle argomentazioni, mentre il benchmark ha comunque classificato il 17% delle risposte del modello come risposte che riprendevano l’impostazione del Partito comunista cinese.