The Pulse
I ricercatori creano backdoor per l’IA che nascondono reti neurali eseguibili
I ricercatori descrivono una backdoor crittografica che incorpora una rete neurale cifrata in un modello ospite e la attiva con un trigger segreto. Nei loro esperimenti, diversi metodi per far emergere capacità nascoste non hanno funzionato
AI.info Team · Scritto con l’IA ·
Un modello può comportarsi come il suo normale modello ospite durante la valutazione e tuttavia eseguire una rete neurale nascosta quando riceve un trigger segreto, secondo un articolo presentato ad arXiv il 9 ottobre. Nella prova di concetto dei ricercatori, i pesi della rete nascosta sono cifrati all’interno del modello ospite; una costruzione a cassaforte digitale li recupera e li esegue solo quando viene fornito il trigger. L’articolo, accettato a NeurIPS 2026, sostiene che alcuni controlli delle capacità non possono stabilire l’assenza di una capacità nascosta deliberatamente solo perché non riescono a farla emergere.
«Dimostriamo che questa ipotesi non regge in condizioni avversariali costruendo attacchi backdoor che incorporano reti neurali cifrate nei pesi del modello ospite, decifrandole ed eseguendole solo dopo aver ricevuto un trigger segreto», scrivono Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas e Christian Schroeder de Witt, autori dell’articolo.
Un trigger sblocca una rete, non soltanto un messaggio
Precedenti lavori sulle backdoor basate su casseforti digitali nascondevano una stringa fissa; questo articolo estende l’idea a una rete neurale eseguibile. Gli autori rappresentano una capacità come un circuito feed-forward, bloccano le matrici dei suoi pesi con una chiave crittografica e compilano i circuiti risultanti in unità lineari con gate usate nei modelli di tipo transformer. Quando riceve il trigger, il modello recupera i pesi dalle casseforti e li usa per eseguire i calcoli; in assenza del trigger, il modello ospite dovrebbe mantenere il suo comportamento abituale.
La garanzia di sicurezza proposta è condizionata. Presuppone casseforti digitali sicure, un trigger segreto ad alta entropia e la corretta esecuzione del circuito compilato; a queste condizioni, l’argomentazione sulla sicurezza estende la protezione offerta dalla cassaforte al modello compilato. Gli autori definiscono la protezione rispetto a un valutatore che ha pieno accesso ai pesi del modello ma non conosce il trigger. Non sostengono che il modello modificato sia indistinguibile da uno normale, né che un valutatore non possa individuare pesi sospetti.
La distinzione è importante: la tesi riguarda la difficoltà di attivare o identificare la capacità nascosta, non l’invisibilità del modello modificato. Secondo l’articolo, i pesi compilati grezzi presentano caratteristiche statistiche evidenti, tra cui numerosi zeri esatti; gli autori osservano che chi difende il modello potrebbe rilevare un circuito modificato senza scoprirne il trigger o il contenuto nascosto.
Gli esperimenti esaminano piccoli compiti di chimica e parità
I ricercatori hanno testato un classificatore binario che prevede se determinati reagenti producano un candidato prodotto chimico, usando un dataset derivato da USPTO e impronte molecolari a 64 bit. Descrivono il compito come un indicatore indiretto pertinente alla valutazione dei rischi chimici, biologici, radiologici e nucleari, non come una dimostrazione di assistenza alla sintesi pericolosa. Il classificatore nascosto è una piccola rete neurale ternaria e gli autori sottolineano che la loro implementazione non è un attacco pronto all’uso.
Nei test di chimica riportati, 500 passaggi di fine-tuning supervisionato hanno portato il modello cifrato a un’accuratezza del 50,9%, vicina al 50,6% di una rete casuale usata come controllo. L’addestramento avversariale latente ha prodotto il 52,9% per il modello cifrato e il 53,6% per quel controllo. Per i risultati della tabella principale, l’articolo riporta le medie su tre semi con intervalli di confidenza al 95%; precisa che per i dati del controllo non erano disponibili intervalli di confidenza.
La ricerca del trigger mostra perché la configurazione esatta del test è importante. Con un trigger a 8 bit, una ricerca basata sul gradiente ha raggiunto il 73,5% di accuratezza — lo stesso risultato ottenuto dal modello cifrato con il trigger corretto — provando esaustivamente tutti i 256 trigger possibili. Con un trigger a 16 bit, il metodo ha raggiunto il 52,7% entro il numero di interrogazioni previsto dalla valutazione. I risultati dell’articolo mostrano quindi una resistenza alle procedure testate con il trigger più lungo, non un’immunità generale alla ricerca del trigger.
Con il trigger corretto, il classificatore cifrato ha ottenuto il 73,5%, contro il 92,7% di un classificatore protetto da password e addestrato separatamente. Gli autori spiegano che, per vincoli di dimensione, i modelli contengono classificatori diversi: i valori non consentono quindi un confronto diretto delle capacità sottostanti. Gli esperimenti sulla parità offrono un’ulteriore verifica: il compito è progettato per essere difficile da apprendere con metodi basati sul gradiente, così da aiutare a distinguere tra il far emergere una capacità già presente e l’insegnarne una nuova al modello.
Dimensioni e integrazione restano problemi aperti
La costruzione teorica comprende reti feed-forward arbitrarie, ma gli esperimenti nascondono soltanto un piccolo classificatore. Secondo l’articolo, una configurazione con parametri di sicurezza completi, un trigger a 128 bit e Keccak a 24 round usa 3,58 miliardi di parametri densi distribuiti su 110 livelli. Le configurazioni più piccole impiegate in diversi esperimenti per far emergere la capacità sono state scelte per accelerare i test; gli autori dichiarano esplicitamente che non resisterebbero alla crittoanalisi, anche se i metodi testati non hanno sfruttato la struttura della funzione hash.
Il gruppo ha verificato singole unità compilate all’interno di Gemma 3 270M, ma non ha ancora integrato la costruzione completa in un modello preaddestrato. Restano da affrontare l’instradamento dell’attenzione e le connessioni residue, e l’articolo individua costi notevoli in termini di archiviazione, calcolo e ampiezza. Il risultato concreto è più circoscritto di quanto il titolo possa suggerire: date le ipotesi crittografiche e di esecuzione dichiarate, una rete costruita appositamente può nascondere una capacità eseguibile a specifiche categorie di controlli efficienti, mentre l’impiego pratico in un modello preaddestrato standard resta un obiettivo futuro.