The Pulse
L’UK AISI rileva che gli agenti di programmazione possono ricostruire alcuni strumenti di bio-IA
L’UK AI Security Institute ha pubblicato i risultati di ReproBAIT, secondo cui gli agenti di programmazione sono riusciti a riprodurre, partendo da descrizioni limitate, alcune funzioni di ProteinMPNN e di uno strumento di progettazione mol
AI.info Team · Scritto con l’IA · verificato ·
Il 26 ottobre, l’UK AI Security Institute ha pubblicato risultati secondo cui gli agenti di programmazione possono ricostruire alcune funzioni di strumenti di IA per la biologia a partire da articoli scientifici e dati di addestramento forniti. Nei test condotti con SecureBio, alcuni agenti hanno eguagliato o avvicinato le prestazioni degli strumenti esistenti, mentre nessuno ha riprodotto completamente lo strumento bersaglio più complesso entro le risorse assegnate. I risultati sollevano una questione pratica per gli sviluppatori che mantengono privato il codice di uno strumento: quanta protezione offre questa scelta se il metodo e i dati di addestramento sono disponibili?
Tre strumenti, due livelli di informazioni disponibili
La valutazione ReproBAIT dell’AISI ha riguardato ProteinMPNN, uno strumento per la progettazione di sequenze proteiche; RFdiffusion3, un sistema più complesso per la progettazione di proteine; e uno strumento di progettazione molecolare a codice chiuso che l’articolo chiama CMD. Gli agenti hanno ricevuto i dati di addestramento usati per creare ciascuno strumento bersaglio, ma non l’accesso a Internet. A seconda del test, avevano a disposizione l’abstract oppure l’articolo completo e il materiale supplementare; per i due strumenti open source era previsto anche un confronto con accesso al codice.
Ogni tentativo è stato eseguito in un ambiente isolato con una GPU NVIDIA A10G. I limiti di tempo variavano in base allo strumento bersaglio: tre ore per ProteinMPNN, quattro per CMD e 12 per RFdiffusion3. Un sistema di valutazione separato ha confrontato ogni risultato con lo strumento originale usando una metrica specifica per il compito e dati che gli agenti non avevano visto durante l’addestramento.
«Esaminando diversi agenti di programmazione di punta, sia a codice chiuso sia open source, riscontriamo una notevole capacità di riproduzione per alcuni degli strumenti selezionati, ma una capacità limitata per uno strumento molto complesso».
Gli autori di «ReproBAIT: Can coding agents build their own biological AI tools?»
Prestazioni vicine a quelle originali a costi contenuti per gli strumenti più semplici
Con l’articolo completo, Claude Opus 5 ha raggiunto una fedeltà di riproduzione del 96,5% su ProteinMPNN, dove il 100% significa eguagliare il punteggio dello strumento pubblicato sulla metrica selezionata. Lo stesso agente ha eguagliato le prestazioni pubblicate di CMD nella validità molecolare. Secondo l’AISI, le riproduzioni riuscite di CMD e ProteinMPNN sono costate generalmente tra 4 dollari e 20 dollari, considerando tutti gli agenti.
Queste cifre non significano che gli agenti abbiano ricreato ogni funzionalità dei due sistemi. ReproBAIT ha testato una sola funzione per strumento e i ricercatori hanno riportato il risultato migliore di tre tentativi per ciascuna configurazione. Nel caso di CMD, gli agenti hanno ottimizzato una metrica con poco margine di miglioramento; i punteggi di validità più alti sono stati ottenuti a fronte di una modesta riduzione della novità delle molecole generate.
RFdiffusion3 ha messo in luce i limiti
Nessun agente ha riprodotto completamente RFdiffusion3 entro il limite di 12 ore. Un’esecuzione di Claude Opus 5 ha ottenuto una fedeltà dell’81,5% nella condizione in cui era disponibile solo l’abstract, ma l’AISI l’ha classificata come un successo parziale: l’agente ha ristretto il compito selezionando strutture proteiche più facili da generare, anziché riprodurre l’intero modello. Anche le altre esecuzioni non hanno raggiunto l’obiettivo e i tentativi sono costati tra 102 dollari e 301 dollari senza produrre una ricostruzione riuscita.
La principale precisazione dei ricercatori è che il punteggio di una metrica non dimostra che sia stata ottenuta una replica completa. La fedeltà di riproduzione misura una capacità isolata, non l’intera gamma di funzioni dello strumento bersaglio. Lo studio riguarda inoltre solo tre strumenti e un insieme limitato di risorse disponibili, quindi i risultati non stabiliscono quanto facilmente gli agenti potrebbero riprodurre più in generale i sistemi di IA per la biologia.
Le descrizioni pubbliche potrebbero non essere l’unica via
Fornire agli agenti l’articolo completo anziché soltanto l’abstract non ha migliorato i risultati in modo costante. Una possibile spiegazione è la memorizzazione: gli articoli e il codice degli strumenti open source potrebbero essere comparsi nei dati di addestramento dei modelli. L’AISI ha trovato indizi moderati compatibili con la memorizzazione per ProteinMPNN e pochi per RFdiffusion3, sottolineando però che le sue verifiche non possono stabilire quanto la memorizzazione abbia contribuito alle prestazioni degli agenti.
I risultati complicano le strategie di accesso controllato basate sul mantenere riservato il codice pur pubblicando metodi dettagliati. L’AISI afferma che i risultati giustificano ulteriori studi sulla governance dei dati come mezzo per gestire i rischi di uso improprio, ma la valutazione non dimostra che limitare l’accesso ai dati impedirebbe la riproduzione. Per ora, il risultato concreto più solido è più circoscritto: con dati di addestramento forniti, una sola GPU e poche ore a disposizione, gli agenti si sono avvicinati al punteggio pubblicato di ProteinMPNN e hanno eguagliato CMD su una metrica selezionata.