The Pulse
Hirundo pubblica modelli Qwen con una minore censura politica
Hirundo riferisce che le modifiche ai pesi hanno ridotto nettamente le risposte legate alla censura politica in due modelli Qwen, con variazioni contenute nei test di capacità che ha condotto. I risultati sulla sicurezza sono contrastanti:
AI.info Team · Scritto con l’IA ·
Hirundo afferma di aver eliminato le risposte politicamente allineate da due modelli Qwen di Alibaba; i suoi stessi risultati mostrano un compromesso da tenere d’occhio: i modelli modificati riducono nettamente il comportamento preso di mira, ma alcune misure di sicurezza peggiorano. L’azienda ha pubblicato i modelli e la propria valutazione il 5 ottobre, descrivendo il lavoro come un’«occidentalizzazione» di Qwen ottenuta modificando i pesi dei modelli, anziché tramite un filtro esterno.
Hirundo riferisce che la sua versione di Qwen3.6-35B-A3B ha ridotto il punteggio relativo a censura, pregiudizi e propaganda dall’89,8% al 2,8% nel nuovo test CCPC-500 dell’azienda. I risultati sono calati anche in altre due valutazioni: su DECCP il tasso di rifiuto è passato dal 65,26% al 3,16%, mentre su ChinaBench il tasso di mancata conformità è passato dal 96,67% al 6,67%. Questi dati sono i risultati riportati da Hirundo, non una verifica indipendente del suo metodo.
Le modifiche ai pesi prendono di mira un comportamento appreso
L’approccio di Hirundo parte dalla somministrazione al modello di base di prompt su temi politici e dalla selezione delle risposte che mostrano il comportamento che l’azienda intende eliminare. Hirundo addestra un adattatore LoRA su questi esempi, usa un insieme separato di prompt per preservare gli altri comportamenti e poi integra l’adattatore nel modello di base per creare un checkpoint autonomo.
«La parte difficile non è eliminare il comportamento in generale (si trovano modelli abliterated in tutta la rete), ma eliminare solo quel comportamento senza incidere su altre parti del modello».
Scrive Ilana Grinberg, ricercatrice di IA presso Hirundo.
Il modello più grande pubblicato è Hirundo Westernized Qwen3.6-35B-A3B; quello più piccolo è Qwen3.5-4B Westernized. Hirundo afferma che entrambi sono disponibili su Hugging Face. Poiché la modifica è incorporata nei pesi, sostiene l’azienda, si trasferisce ai sistemi costruiti a partire dal checkpoint, anziché dipendere da un prompt di sistema o da un meccanismo di protezione separato.
I punteggi di capacità cambiano poco; le misure di sicurezza variano
Su quattro benchmark generali per il modello 35B, Hirundo riferisce che il calo maggiore è stato di 1,83 punti percentuali su LiveCodeBench, dal 56,39% al 54,56%. I punteggi sono diminuiti di meno di un punto su GPQA, IFBench e MMLU-Pro. I risultati indicano variazioni limitate in quei test, ma non dimostrano che le prestazioni rimangano invariate in altri compiti o negli impieghi reali.
Le misure di sicurezza non sono migliorate in modo uniforme. I risultati del modello 35B nei test di sicurezza XSTest e OR-Bench sono stati misurati con Thinking OFF. Su OR-Bench, l’adesione a richieste dannose è salita dallo 0,31% di Qwen3.6 di base allo 0,62% della versione di Hirundo — quattro risposte contro due, secondo l’azienda — mentre su XSTest è scesa dal 18% al 17%. I rifiuti eccessivi di prompt innocui sono passati dal 9,6% al 9,2% su XSTest e dal 94,11% al 94,72% su OR-Bench.
Anche i risultati del modello più piccolo variano a seconda della configurazione. Con il ragionamento attivato, il suo tasso di rifiuto su DECCP è sceso dal 60,71% al 16,67%, una riduzione minore rispetto a quella registrata con il ragionamento disattivato, quando il tasso è sceso dal 57,89% al 6,32%. In sei valutazioni delle capacità con il ragionamento disattivato, Hirundo riferisce una variazione media non ponderata di meno 0,36 punti percentuali. Nei test di sicurezza del modello più piccolo, l’adesione a richieste dannose su XSTest è salita dal 20,50% al 22,00% e i rifiuti eccessivi di richieste innocue sono saliti dal 5,20% al 6,40%. Su OR-Bench, l’adesione a richieste dannose è scesa dall’1,37% all’1,07%, mentre i rifiuti eccessivi di richieste innocue sono saliti dall’87,53% all’89,61%. Questi confronti sulla sicurezza sono stati effettuati con Thinking OFF.
Il nuovo test di Hirundo non è ancora pubblico
Il risultato principale dell’azienda si basa su CCPC-500, un benchmark di 500 prompt che presenta con questa pubblicazione. Hirundo afferma che il test copre temi tra cui Taiwan, Tibet, Tiananmen, Xinjiang, Hong Kong e Falun Gong, e che prevede di pubblicare presto il dataset e un benchmark Inspect AI. Finché questi materiali non saranno disponibili, i ricercatori esterni non potranno riprodurre il confronto centrale dell’azienda usando quel test.
Hirundo confronta inoltre il proprio modello 35B con Snowdon1.1-Small, un riallineamento indipendente dello stesso modello di base realizzato da Thomson Reuters e dal FAIR Lab dell’Imperial College. Su CCPC-500, Hirundo riporta il 2,8% per il proprio modello e il 30% per Snowdon; su DECCP, il 3,16% e il 20,21%; su ChinaBench, il 6,67% e il 40%. I dati offrono un confronto tra approcci diversi, anche se il fatto che il benchmark non sia ancora pubblico limita la possibilità di esaminare il primo risultato.
La pubblicazione presenta agli sviluppatori che valutano Qwen con pesi aperti un’affermazione concreta: le modalità di risposta su temi politici possono essere ridotte attraverso modifiche mirate ai pesi, con variazioni relativamente contenute nei test generali di capacità condotti da Hirundo. I risultati sulla sicurezza pubblicati dall’azienda mostrano anche perché questa affermazione vada valutata misura per misura. Il suo checkpoint Westernized Qwen3.6-35B-A3B è disponibile su Hugging Face, mentre CCPC-500 deve ancora essere pubblicato.