RAGenome: estendere i modelli linguistici genomici basati sul recupero di informazioni a contesti lunghi

Abstract degli autori

Il genoma racchiude il progetto che determina le proprietà biologiche della cellula. Ampliare la nostra conoscenza della funzione genomica è quindi fondamentale sia per comprendere meglio la biologia sia per continuare a compiere progressi in biomedicina. Il successo dei grandi modelli linguistici applicati al linguaggio naturale e alle sequenze proteiche ha stimolato iniziative analoghe sui dati genomici. Tuttavia, i modelli linguistici genomici (gLM) standard richiedono spesso risorse computazionali enormi e, in alcuni compiti a valle, ottengono comunque risultati inferiori a quelli dei metodi tradizionali. Di recente, il preaddestramento basato su MSA è stato proposto come alternativa efficiente, ma i modelli esistenti sono limitati a contesti di input brevi, che ne restringono l’impiego a compiti a corto raggio, come la previsione degli effetti delle varianti. In questo lavoro presentiamo RAGenome, il primo gLM basato sul recupero di informazioni che estende il preaddestramento a contesti più lunghi (100$\times$ più lunghi rispetto a quelli dei gLM esistenti basati su MSA), consentendogli di cogliere sia le relazioni evolutive tra specie sia le interazioni a più lungo raggio all’interno della stessa specie. Addestrato su allineamenti dell’intero genoma di 100 vertebrati, RAGenome migliora notevolmente le capacità a lungo raggio dei gLM basati su MSA, portando le prestazioni nell’individuazione dei geni da 0,45 a 0,60, pur rimanendo competitivo nei compiti basati esclusivamente sull’evoluzione, come l’individuazione prioritaria delle varianti patogene. RAGenome offre prestazioni competitive tra i gLM a una frazione del costo di addestramento, riunendo la modellazione evolutiva e le capacità a lungo raggio in un unico framework flessibile e scalabile. Il codice è disponibile all’indirizzo https://github.com/PanosAntoniadis/RAGenome.