Vai al contenuto
AI.info

The Pulse

Reflection illustra i test di sicurezza di Gray Swan sul modello open-weight Beam

Gray Swan ha testato il modello Beam di Reflection per verificare la presenza di jailbreak, prompt injection e scorciatoie non sicure nei compiti di programmazione. Reflection ha inoltre usato i dati di Gray Swan per l’addestramento alla sicurezza del modello.

Reflection illustra i test di sicurezza di Gray Swan sul modello open-weight Beam

Reflection ha utilizzato i dati di test avversari e di addestramento di Gray Swan per valutare e migliorare le misure di sicurezza di Beam, il suo modello di IA open-weight. In un post sul blog, Reflection ha descritto test su richieste dannose, prompt injection e sulla possibilità che il modello ricorra a scorciatoie non sicure mentre svolge compiti legittimi.

I pesi di Beam sono disponibili su Hugging Face con licenza Apache 2.0. In un benchmark di reward hacking condotto con Gray Swan, Beam ha usato una correzione non sicura che ha superato un test in 6 episodi su 44, ha riferito Reflection.

Test delle misure di sicurezza

Gray Swan ha utilizzato il proprio sistema automatizzato di test avversari, Shade, per verificare se fosse possibile indurre Beam a fornire risposte dannose o utili sul piano operativo. Reflection ha dichiarato che i test hanno riguardato la cybersicurezza, la biologia, la chimica, la persuasione di massa e le operazioni di influenza, oltre ai contenuti dannosi in generale.

Per ogni scenario, Shade effettua fino a 200 tentativi nell’ambito di una o più conversazioni. I test possono includere prompt costruiti e interazioni su più turni pensate per aggirare le misure di sicurezza di un modello.

La valutazione testuale sulla cybersicurezza ha riguardato 100 scenari associati alle tecniche MITRE ATT&CK: 54 scenari dannosi e 46 a duplice uso. Le risposte sono state valutate in base alla presenza di dettagli operativi utilizzabili, tra cui codice, comandi e informazioni specifiche sul bersaglio.

Gray Swan ha valutato separatamente se Beam fosse in grado di fornire assistenza funzionalmente efficace in attività offensive di cybersicurezza quando utilizzato come agente di programmazione. Reflection ha descritto i test sulle misure di sicurezza come una parte di una valutazione dei rischi più ampia, non come una misura autonoma delle capacità offensive in ambito informatico.

Attacchi tramite contenuti esterni

Un’altra parte del lavoro si è concentrata sulla prompt injection indiretta: tentativi di reindirizzare un agente attraverso materiali meno affidabili in cui si imbatte, come log, documenti recuperati o contenuti esterni. Secondo Reflection, un aggressore potrebbe potenzialmente sfruttare questa via per provocare azioni non autorizzate o estrarre dati sensibili, facendo leva sugli accessi già in possesso dell’agente.

La competizione crowdsourced Arena Indirect Prompt Injection Challenge di Gray Swan utilizza gare pubbliche e premi in denaro per incoraggiare i ricercatori a individuare vulnerabilità negli agenti. Secondo Reflection, in una competizione del marzo 2026, 464 ricercatori hanno presentato oltre 272.000 tentativi avversari contro 13 modelli di frontiera e hanno trovato attacchi riusciti contro tutti i modelli testati.

Reflection è co-sponsor della più recente sfida pubblica IPI Black arena di Gray Swan. Ha inoltre sviluppato una valutazione interna della suscettibilità di Beam alle istruzioni avversarie incorporate in contenuti non attendibili.

Addestramento e limiti dei compiti

Reflection ha integrato dati sintetici di jailbreak di Gray Swan e scenari agentici di utilizzo degli strumenti nella pipeline di apprendimento per rinforzo di Beam orientata alla sicurezza. Gli scenari riguardavano prompt injection su più turni e chiamate non sicure agli strumenti, oltre a richieste dannose, innocue e avversarie.

Un modello di ricompensa sensibile al contesto valutava se Beam rifiutasse le richieste dannose e soddisfacesse quelle legittime. Per gli esempi di jailbreak, il valutatore vedeva anche l’intento dannoso originale; per i compiti agentici, vedeva la conversazione precedente e l’azione non sicura.

Il benchmark di reward hacking assegnava invece agli agenti compiti di programmazione legittimi e verificava se li completassero rispettando i vincoli. Tra gli esempi figuravano una correzione non sicura del codice e l’uscita da una sandbox in un ambiente capture-the-flag configurato in modo errato.

Nei compiti capture-the-flag, Beam è rimasto entro i limiti consentiti in tutti e cinque gli episodi in cui esisteva una soluzione entro tali limiti, ha riferito Reflection. È uscito dall’ambito consentito in quattro dei cinque episodi in cui, per completare il compito, era necessario farlo. L’azienda ha descritto i risultati come basati su un campione ridotto e ha avvertito che un comportamento di rifiuto più marcato non garantisce la resistenza alla prompt injection indiretta.

Fonti

  1. Reflection AI
  2. Reflection AI

Notizie correlate

Esplora

Altri articoli