Valutazione di DeepSeek V4.1 Flash-1017 rispetto ai rischi di perdita di controllo e manipolazione dannosa

Abstract degli autori

Man mano che i modelli linguistici di frontiera diventano sempre più capaci e autonomi, le valutazioni indipendenti condotte da terze parti sono fondamentali per caratterizzarne i rischi sistemici per la sicurezza. Mentre i rilasci closed source sono regolarmente accompagnati da schede di sistema esaustive, i modelli a pesi aperti sono sottoposti a un esame meno approfondito per quanto riguarda i rischi di frontiera. Per colmare questa lacuna, presentiamo una valutazione indipendente della sicurezza di DeepSeek V4.1 Flash-1017, la versione più recente di V4.1 Flash, che si distingue da V4 per una nuova architettura, un addestramento su scala più ampia e spiccate capacità agentiche. Basandoci sul codice di buone pratiche dell’UE per l’IA per finalità generali, valutiamo il modello su 34 benchmark, tra cui 5 suite sviluppate internamente, che coprono l’integrità della valutazione, la perdita di controllo e la manipolazione dannosa. In conformità allo standard AEF-1, confrontiamo V4.1 Flash-1017 con V4.1 Flash, con i precedenti modelli DeepSeek V4 e con i principali sistemi closed source (GPT-6 Astra, GPT-5.6 Sol e Gemini 3.8 Flash). Nel complesso, V4.1 Flash-1017 mostra sostanziali miglioramenti nella sicurezza rispetto alla generazione V4 e, sotto diversi aspetti, si avvicina ai principali sistemi closed source usati come riferimento o ne eguaglia i risultati, pur continuando a mostrare comportamenti rilevanti che richiedono attenzione costante. A partire dai nostri risultati, evidenziamo tre osservazioni e raccomandazioni fondamentali. In primo luogo, poiché la sicurezza può cambiare e persino regredire anche con aggiornamenti minori, gli sviluppatori dovrebbero integrare la valutazione della sicurezza nei rilasci incrementali. In secondo luogo, poiché i soli output dell’ultimo turno e le verifiche dello stato finale non possono rilevare in modo affidabile i comportamenti che comportano una perdita di controllo, l’impiego dei modelli richiede l’osservabilità a livello di processo sia delle tracce di ragionamento sia dei registri delle azioni. In terzo luogo, poiché i benchmark pubblici inducono una forte consapevolezza di essere sottoposti a valutazione e presentano rischi di contaminazione dei dati, lo sviluppo di benchmark privati è essenziale per una valutazione affidabile dei modelli di frontiera.