The Pulse
Spectral Feedback aumenta del 32,3% le sequenze proteiche stabili generate
I ricercatori della UC Berkeley propongono Spectral Feedback, un metodo che riapre alcune posizioni selezionate in una sequenza proteica generata e le campiona nuovamente. Per un modello preaddestrato aumenta del 32,3% i progetti proteici p

AI.info Team · Scritto con l’IA · verificato ·
I modelli di diffusione per proteine generano di solito una sequenza riempiendo progressivamente le posizioni mascherate degli amminoacidi. I metodi che li orientano verso un obiettivo intervengono perlopiù sulla scelta dei token o cercano tra le sequenze candidate durante il processo. Un articolo pubblicato giovedì su arXiv da quattro ricercatori della University of California, Berkeley propone una strada diversa: generare una sequenza, poi riaprire alcune posizioni selezionate e campionarle di nuovo. Gli autori riportano un aumento del 32,3% delle proteine stabili per un modello preaddestrato, con guadagni che si riducono nei sistemi di partenza più avanzati e un compromesso sul piano strutturale per il più avanzato.
Il problema è scegliere quali posizioni riaprire
Il metodo, chiamato Spectral Feedback, è rivolto al ripiegamento inverso: progettare una sequenza di amminoacidi che si ripieghi in una determinata struttura portante proteica. Anziché modificare i pesi del modello o reindirizzarne il percorso di rimozione del rumore, tratta il modello di diffusione come una scatola nera. Dopo aver generato una sequenza iniziale, sceglie un insieme di posizioni da mascherare nuovamente e usa il modello per campionarle ancora, ripetendo il procedimento.
Shai Dickman, Mert Cemri, Landon Butler e Kannan Ramchandran hanno descritto questo cambio di prospettiva nell’abstract dell’articolo. Mentre i metodi di allineamento precedenti decidono quale amminoacido collocare in ciascuna posizione, scrivono, la domanda che si pongono è un’altra:
«Mentre i metodi di allineamento precedenti si concentrano su quali etichette di token assegnare per massimizzare una ricompensa obiettivo, noi consideriamo centrale per l’allineamento la scelta dei token da rivedere.»
Shai Dickman, Mert Cemri, Landon Butler e Kannan Ramchandran, University of California, Berkeley, nell’articolo
La difficoltà sta nel fatto che le modifiche interagiscono tra loro: il valore di cambiarne una dipende da quali altre posizioni vengono cambiate nello stesso momento. Scegliere le posizioni una alla volta può quindi far perdere le combinazioni migliori.
I modelli di Fourier sparsi guidano le modifiche
Cercare tra tutte le possibili combinazioni di posizioni diventa rapidamente impraticabile. Il gruppo rappresenta invece il valore degli insiemi di modifiche candidati con un’espansione di Fourier e usa il recupero sparso per stimare, a partire da un numero limitato di valutazioni della ricompensa, quali combinazioni siano promettenti. L’approccio si basa su un’osservazione empirica: queste funzioni che esprimono il valore delle modifiche sono sparse e gran parte del loro segnale si concentra in un piccolo numero di coefficienti, perlopiù di ordine basso. Gli autori collegano questa caratteristica alle interazioni sparse tra amminoacidi documentate in biologia.
I ricercatori hanno testato il metodo su strutture portanti proteiche del dataset Megascale, usando un oracolo di stabilità che prevede la variazione dell’energia libera di Gibbs tra una sequenza progettata e la corrispondente sequenza naturale. Hanno inoltre monitorato l’RMSD di autoconsistenza rispetto alla struttura portante bersaglio, usando strutture previste da ESMFold, e la naturalezza delle sequenze misurata con ProtGPT2, per individuare miglioramenti della ricompensa ottenuti a scapito di altre qualità.
Il guadagno del 32,3% non è uguale per tutti i modelli
Secondo l’abstract, Spectral Feedback aumenta la quota di proteine stabili del 32,3% per un modello preaddestrato, del 24,8% quando è abbinato al campionamento Best-of-10 e del 5,8% per DRAKES, un modello di diffusione sottoposto a fine-tuning con apprendimento per rinforzo. Questi dati provengono dalla valutazione basata sull’oracolo condotta dagli autori, non da proteine prodotte e misurate in laboratorio.
La tabella dei risultati nell’articolo mostra il compromesso per DRAKES. Con Spectral Feedback, la sua ricompensa media nella valutazione sale da 0,99 a 1,38, il valore più alto della tabella, ma l’RMSD medio di autoconsistenza aumenta da 1,17 a 1,53, mentre la quota di progetti che rispettano la soglia RMSD fissata nell’articolo scende dal 93,4% all’85,8%. Per il modello preaddestrato e per Best-of-10, la stessa quota sale rispettivamente al 94,2% e al 96,7%. Gli autori suggeriscono che il calo di DRAKES possa dipendere dalla distribuzione dei campioni del modello stesso anziché dal loro algoritmo.
Più calcolo in fase di inferenza, non una correzione gratuita
Spectral Feedback evita di riaddestrare il modello, ma ha un costo: richiede chiamate aggiuntive al modello di diffusione e all’oracolo della ricompensa per valutare i possibili insiemi di modifiche. Negli esperimenti degli autori eguaglia Best-of-10 in due iterazioni di feedback: Best-of-10 richiede dieci processi inversi completi, mentre Spectral Feedback richiede un passaggio completo più alcuni parziali. Tra i limiti, gli autori indicano l’elevato numero di campioni di insiemi di modifiche richiesto dal recupero sparso e la non determinismo delle funzioni che ne esprimono il valore, che le rende più difficili da approssimare e costose da valutare.
Gli autori indicano la progettazione del DNA e la generazione di testo come i prossimi ambiti in cui sperimentare il metodo e vogliono verificare come cambino i risultati con vocabolari più ampi e sequenze più lunghe.
Fonti
Notizie correlate
- Uno studio di Apple rileva che l’ordinamento per confidenza può alterare gli output della diffusione
- Anthropic rende open source le ottimizzazioni di Claude per i modelli di biologia
- Google DeepMind aggiunge filigrane SynthID alle proteine progettate con l’IA
- GPT-6 Astra mostra un ragionamento efficiente in termini di token in un nuovo studio su arXiv
- Lila esamina 2942 catalizzatori e individua candidati a base di palladio