BEND 2.0: valutare le capacità necessarie per progettare il DNA

Abstract degli autori

I modelli fondazionali genomici sono sempre più usati per proporre sequenze di DNA e modifiche. Ma per progettare con successo servono capacità che gli attuali benchmark non misurano. Qui presentiamo BEND 2.0 (BENchmark for DNA language models), che verifica quanto bene i modelli prevedono gli effetti delle modifiche al DNA e se queste previsioni possono guidare la progettazione delle sequenze. Sulla base di otto compiti costruiti su cinque dataset sperimentali, rileviamo che sia la scelta del modello sia il modo in cui si accede alle rappresentazioni influiscono sulle prestazioni. I readout lineari adattati a rappresentazioni congelate possono eguagliare o superare gli output nativi dei modelli, mentre il post-training funzionale migliora notevolmente le capacità dei modelli. I readout lineari si trasferiscono bene tra saggi sperimentali e geni, suggerendo che i modelli acquisiscono pattern funzionali che vanno oltre i dati usati per adattare i singoli predittori. Al tempo stesso, previsioni accurate degli effetti medi possono nascondere previsioni meno accurate degli effetti specifici del contesto, e prevedere con accuratezza gli effetti combinati delle mutazioni non implica prevederne accuratamente le interazioni. Nei compiti di progettazione, le previsioni dei modelli possono ridurre il numero di candidati necessari per trovare una risposta desiderata, ma resta ampio margine per migliorare le scelte progettuali, in particolare per gli obiettivi specifici del contesto e quelli multi-cellula. Il nostro benchmark mostra che i modelli genomici danno ormai segnali di utilità generale, ma le loro prestazioni non hanno ancora raggiunto un plateau, nemmeno nei compiti semplici.