The Pulse

Anthropic pubblica raccomandazioni per progettare, condurre e riferire i risultati dei test di sicurezza dell’IA

Anthropic ha pubblicato raccomandazioni per progettare, condurre e riferire i risultati delle valutazioni di sicurezza dell’IA. L’azienda ha inoltre descritto le modifiche apportate ai propri ambienti di test dopo alcuni incidenti.

AI.info Team · · verificato · su 1 fonte ↓ · Pubblicato 13 nov 2026

I test di sicurezza dell’IA dovrebbero essere progettati in funzione di rischi specifici, con i ricercatori che registrano in anticipo i propri piani e documentano i risultati in modo più completo, raccomanda Anthropic in nuove indicazioni rivolte a chi conduce valutazioni. Le indicazioni del 13 novembre si basano sull’esperienza dell’azienda nella creazione di test e su esempi tratti dalle schede di sistema dei suoi modelli.

L’azienda utilizza le valutazioni di sicurezza per decidere se un modello è pronto per la distribuzione, quali misure di sicurezza lo accompagnano e su quali aspetti concentrare ulteriori interventi in materia di sicurezza. A differenza dei test di capacità specifiche, le valutazioni di sicurezza esaminano il potenziale di un modello di causare o contribuire a un danno e la gravità di tale danno.

Scegliere cosa misurare

Anthropic raccomanda di coinvolgere fin dall’inizio sia esperti della materia sia esperti di metodologia. Gli esperti di metodologia possono aiutare con il campionamento, la valutazione e l’analisi, mentre gli specialisti in campi come la psicologia, la biologia o le scienze politiche possono contribuire a definire il danno e a individuare casi realistici.

L’azienda distingue inoltre tra l’osservazione delle differenze nei punteggi dei modelli e la verifica che un intervento abbia causato un cambiamento. Per quest’ultima, raccomanda di variare un fattore alla volta, ad esempio testando lo stesso modello con e senza un determinato intervento.

Una misura frequente nei test di sicurezza è la frequenza con cui un modello rifiuta una richiesta, ma questo può non cogliere distinzioni importanti, secondo le indicazioni. Nelle conversazioni che riguardano l’autolesionismo, per esempio, un modello che si limita a rifiutarsi di interagire può ottenere un buon punteggio sui rifiuti senza fornire una risposta adeguata a una persona in difficoltà.

Per i test a più turni, Anthropic utilizza il tasso di risposte appropriate: la quota di conversazioni in cui il modello si comporta in modo appropriato per tutta la durata, secondo una rubrica specifica per il rischio elaborata da esperti del settore. Un solo turno inadeguato comporta una valutazione negativa per l’intera conversazione.

Testare l’intera conversazione

Le diverse aree di rischio richiedono rubriche diverse. In biologia e sicurezza informatica, afferma l’azienda, una richiesta può avere un uso legittimo oltre che uno dannoso; il suo approccio consiste nel verificare se un modello può aiutare con la richiesta legittima senza fornire dettagli operativi che potrebbero agevolare un danno.

Nei test a turno singolo, l’azienda abbina prompt dannosi e innocui appartenenti allo stesso ambito. Mira a misurare sia le risposte alle richieste dannose sia i rifiuti di quelle innocue, avvalendosi di esperti della materia per classificare i casi difficili.

L’azienda sostiene che i test debbano anche riflettere lo sviluppo delle conversazioni. Un modello può gestire in modo appropriato una richiesta iniziale, ma rispondere male dopo che un utente l’ha gradualmente intensificata; allo stesso tempo, una precedente rivelazione di uno stato di sofferenza può cambiare il modo in cui dovrebbe essere interpretata una domanda successiva, dall’apparenza ordinaria.

In una delle sue valutazioni sul benessere a più turni, un utente simulato descrive un evento destabilizzante all’inizio di una conversazione e in seguito pone una domanda che, in quel contesto, potrebbe richiedere una risposta più ponderata. L’esempio illustra perché l’azienda includa nei test la cronologia della conversazione.

Condizioni per condurre i test

Le valutazioni di sicurezza vengono spesso condotte con le misure di sicurezza standard disattivate, per valutare il comportamento di base del modello. Anthropic raccomanda di eseguirle in un sandbox senza accesso a internet e di monitorarle in tempo reale, così da poter interrompere un’esecuzione se un modello si comporta in modi che potrebbero causare danni nel mondo reale.

Dopo alcuni incidenti che l’hanno coinvolta, l’azienda afferma di aver rafforzato gli ambienti di valutazione e di aver sospeso temporaneamente molte valutazioni che danno ai modelli accesso a internet. Ha inoltre introdotto il monitoraggio in tempo reale per le valutazioni con ricerca sul web che richiedono l’accesso a internet.