recAMPLIFY: preaddestramento su larga scala di modelli linguistici ricorsivi per le proteine

Abstract degli autori

I modelli linguistici per le proteine (pLM) sono strumenti potenti per l’annotazione delle proteine e la previsione degli effetti delle mutazioni, ma i progressi sono dipesi in larga misura dall’aumento delle dimensioni dei modelli e della quantità di dati, rendendoli costosi e inclini alla memorizzazione. L’aumento della computazione in fase di test offre una strada complementare, ma i metodi sviluppati per gli LLM autoregressivi non sono direttamente trasferibili: gli encoder mascherati non hanno un ciclo di generazione e gli amminoacidi non si esprimono in un linguaggio di ragionamento. Adattiamo invece il preaddestramento ricorsivo ai pLM mascherati: un nucleo Transformer con pesi condivisi affina gli stati nascosti allineati ai residui per un numero regolabile di cicli. Applichiamo questo approccio in recAMPLIFY, un pLM con 155M parametri unici addestrato sugli stessi 2T token di AMPLIFY-350M. Pur avendo il 56% di parametri in meno, migliora il recupero dei contatti CASP e i risultati in tre compiti supervisionati su quattro, aumentando in particolare del 22,5% l’accuratezza nella previsione del fold. Poiché la profondità ottimale per recAMPLIFY varia a seconda dei compiti e dei saggi, introduciamo quindi Gated Mixture Recurrence (GMR), un framework che decodifica ogni proteina a partire da una miscela, ponderata in base alla probabilità, degli stati nascosti attraversati durante la ricorsione. GMR usa un gate residuo appreso, a risoluzione scalare, a basso rango o per dimensione, per controllare quanta parte dell’aggiornamento proposto a ogni ciclo venga accettata nello stato. Questo unifica l’arresto e il gating in un unico obiettivo di computazione adattiva, recuperando al tempo stesso l’arresto in stile PonderNet come caso particolare senza gate. Applicato a recAMPLIFY, GMR riduce ulteriormente fino al 37% la profondità attesa in termini di layer, sebbene il compromesso con l’accuratezza vari a seconda del compito. Le analisi dei meccanismi mostrano che il gating residuo controlla la stabilità della ricorsione oltre la profondità usata nell’addestramento e che la profondità di arresto segue le proprietà biologiche.