Apprendere linguaggi proteici latenti per la generazione autoregressiva

Abstract degli autori

I transformer autoregressivi restano relativamente poco efficaci nella generazione di sequenze e strutture proteiche. Studiamo il ruolo della rappresentazione del dato da generare: i token degli amminoacidi codificano l’identità dei residui senza una semantica contestuale esplicita, mentre le coordinate del backbone richiedono, nel nostro approccio, una rappresentazione discreta. Introduciamo due linguaggi proteici latenti appresi. Protein Latent Language (PLL) mappa le sequenze su un alfabeto contestuale di 4.096 stati, costruito su un encoder ESM-2 congelato, con un token per residuo. Structure Latent Language (SLL) adatta GCP-VQVAE Lite aggiungendo una supervisione ausiliaria sulla sequenza e sul grado di confidenza, pur mantenendo la decodifica in coordinate del backbone. Pre-addestriamo separatamente modelli transformer autoregressivi sui token PLL e SLL mediante la previsione del token successivo, ottenendo PLLM e SLLM. A parità di addestramento successivo sulle sequenze, PLLM presenta un esponente stimato di scaling rispetto alla potenza di calcolo pari a 0,038, contro 0,020 per il modello autoregressivo basato sugli amminoacidi. Nella generazione incondizionata di sequenze, PLLM riduce del 54%, rispetto al modello basato sugli amminoacidi, la quota di campioni al di sotto di una soglia euristica di 1,5 bit per l’entropia della composizione dei residui, alle diverse temperature di campionamento. Nella previsione della struttura a partire dalla sequenza, sostituire il tokenizer originale di GCP-VQVAE Lite con SLL riduce del 34% la migliore perplexity di validazione a parità di addestramento. Per le proteine lunghe, nelle nostre misurazioni il campionamento di token latenti è circa 1.000 volte più veloce di AlphaFold2 basato su MSA. Nella generazione del backbone, SLLM ottiene risultati favorevoli rispetto ad altri modelli generativi in termini di diversità e novità. Osserviamo inoltre primi segnali che l’uso del grado di confidenza interno di SLLM relativo ai token per il campionamento in fase di inferenza può migliorare la qualità della previsione della struttura a partire dalla sequenza rispetto a un singolo campione decodificato. Questi risultati indicano che i linguaggi proteici latenti appresi sono una base promettente per lo scaling dei transformer autoregressivi e il campionamento in fase di inferenza nella generazione di proteine.