The Pulse
I modelli di IA spesso individuano bersagli nei test sulle armi, afferma Vals AI
Vals AI ha rilevato che i modelli di frontiera fornivano spesso informazioni sui bersagli in compiti simulati con droni e immagini satellitari. I ricercatori non hanno verificato quanto efficacemente i modelli si sarebbero comportati in un sistema d’arma operativo.

Secondo test pubblicati da Vals AI, i modelli di IA di frontiera in genere acconsentivano quando veniva chiesto loro di individuare persone e bersagli in immagini riprese da droni e satelliti, e spesso indicavano come bersagli dei civili. I ricercatori riferiscono che i rifiuti erano poco frequenti e che di solito si riusciva a convincere i modelli a proseguire presentando il compito come un gioco.
I ricercatori non hanno chiesto ai modelli di prendere direttamente decisioni sugli attacchi. Hanno verificato se i modelli avrebbero svolto compiti più circoscritti, in grado di fornire informazioni a un sistema d’arma autonomo o parzialmente autonomo.
La valutazione non ha stabilito quanto sarebbero efficaci i modelli in un sistema d’arma operativo. Inoltre, non ha valutato specificamente la precisione nell’individuazione dei bersagli, il rispetto del diritto dei conflitti armati o le prestazioni nei flussi di lavoro effettivi dell’esercito statunitense.
Testare le immagini alla ricerca di bersagli
Pubblicato il 17 novembre, lo studio ha esaminato l’identificazione di bersagli tramite droni, la ricognizione di un campo di battaglia e l’analisi di immagini satellitari. I primi due scenari si basavano sulla guerra in Ucraina, mentre per il compito con le immagini satellitari è stata utilizzata un’area in Iran.
Nell’esercizio di identificazione tramite droni, i ricercatori hanno creato un campo di battaglia immaginario nell’Ucraina orientale, con trincee, villaggi, strade, veicoli blindati, soldati, civili, giornalisti, ambulanze e personale medico. Hanno collocato sulla scena quasi 200 inquadrature e salvato fotogrammi che rappresentavano tre tipi di telecamera per droni.
La maggior parte delle scene riprese dai droni utilizzava immagini generate. Il gruppo ha elaborato i fotogrammi renderizzati con un modello di immagini per renderli realistici, poi ha aggiunto effetti per farli assomigliare a riprese effettuate da droni. Altre parti della valutazione utilizzavano immagini reali.
Ai modelli è stato chiesto di disegnare riquadri intorno ai bersagli o agli obiettivi militari visibili. Secondo Vals, ogni modello ha selezionato almeno un bersaglio almeno in alcune occasioni; Vals ha rilevato che nelle immagini dei droni i modelli indicavano spesso come bersagli civili, ambulanze e soldati che si arrendevano o erano incapacitati.
Le risposte differivano sotto un altro aspetto: secondo i ricercatori, GPT-6 Astra e Muse Wonder rispettavano spesso il formato strutturato richiesto, ma i loro elenchi erano di solito vuoti. Hanno testato anche modelli aperti più piccoli, che non rifiutavano di rispondere ma non riuscivano a disegnare riquadri di delimitazione in modo affidabile.
Le conseguenze e le immagini satellitari
Nel compito di ricognizione, i modelli dovevano riferire se nelle immagini riprese da droni di osservazione fossero visibili delle persone. Alle risposte affermative seguivano attacchi simulati, dopo i quali i modelli vedevano immagini che mostravano le conseguenze; in una condizione, sceglievano anche dove inviare il drone in seguito.
Secondo Vals, la maggior parte dei modelli ha continuato dopo aver visto le vittime. Di solito era possibile indurre a proseguire i modelli che si fermavano presentando il compito come un gioco, anche modificando le immagini che vedevano.
Per il test satellitare, i ricercatori hanno utilizzato immagini reali di un’area di Minab, in Iran, dove una scuola si trova accanto a un complesso militare. Ai modelli è stato chiesto di segnare e assegnare priorità ai bersagli.
Vals ha riferito che molti modelli hanno selezionato la scuola elementare. I ricercatori affermano che la loro analisi dei compiti con le immagini satellitari ha rilevato un rischio di prendere di mira civili.
Dove le misure di sicurezza hanno fallito
Il gruppo ha dichiarato che nessuna delle sue richieste è stata bloccata da un classificatore prima che un modello rispondesse. Quando i modelli rifiutavano, il rifiuto proveniva da loro stessi; presentare il compito come un gioco era quasi sempre efficace per aggirarlo.
Vals raccomanda ai laboratori di IA di introdurre misure di sicurezza e addestramento all’allineamento per questa categoria di uso improprio. I risultati riguardano la disponibilità dei modelli a svolgere compiti specifici, non una capacità dimostrata di gestire un sistema d’arma autonomo.
Fonte
Notizie correlate
- Uno studio rileva parolacce in una minoranza delle esecuzioni di benchmark dei modelli di IA
- Vals AI entra nel NIST AI Consortium ampliato
- Reflection illustra i test di sicurezza di Gray Swan sul modello open-weight Beam
- Anthropic pubblica raccomandazioni per progettare, condurre e riferire i risultati dei test di sicurezza dell’IA
- OpenAI illustra i sistemi di monitoraggio addestrati sull’attività interna dei modelli