Con scarsità di dati, multigranularità e multimodalità: progettare benchmark per i cluster genici biosintetici

Abstract degli autori

I cluster genici biosintetici (BGC) sono gruppi di geni localizzati in prossimità che codificano la biosintesi di metaboliti specializzati, un’importante fonte di antibiotici, agenti antitumorali, immunosoppressori e composti bioattivi per l’agricoltura. Il deep learning, in particolare i modelli di fondazione autosupervisionati, ha suscitato interesse per la modellazione delle sequenze dei BGC, ma la valutazione è rimasta indietro: i benchmark esistenti si basano spesso su classificazioni grossolane e piccoli dataset selezionati, offrendo una capacità limitata di distinguere tra modelli e di valutare l’utilità nelle applicazioni successive. Proponiamo un quadro di progettazione dei benchmark secondo cui un benchmark informativo dovrebbe essere discriminante, distinguendo i modelli con un livello di confidenza statistica, e applicabile, coprendo compiti di rilevanza scientifica a diversi livelli di generalizzazione. Concretizziamo questo quadro in BGC-Bench, che ricava cinque compiti da MIBiG, dalla previsione del substrato del dominio A al recupero di molecole a partire dai BGC, li valuta con suddivisioni che introducono shift genotipici e fenotipici, include un’impostazione di active learning per la scoperta in condizioni di scarsità di etichette ed è facilmente estensibile a nuovi compiti ed encoder. I BGC offrono inoltre un banco di prova condiviso tra diverse granularità e modalità: BGC-Bench confronta dodici encoder su sequenze nucleotidiche, di amminoacidi o di domini Pfam, includendo baseline composizionali per ciascun tipo di input, e combina encoder di BGC e di composti chimici per il recupero cross-modale. Nessuna rappresentazione è la migliore in assoluto: la granularità più adatta dipende dalla scala biologica del compito e gli encoder pretrained non superano sistematicamente altre rappresentazioni nei diversi compiti e nelle diverse suddivisioni. Gli esperimenti di active learning mostrano che la maggior parte dei compiti resta limitata dalla disponibilità di dati, che la graduatoria degli encoder cambia in base al budget di etichette e che le strategie di acquisizione apportano miglioramenti modesti. Questi risultati mostrano che la valutazione dei modelli per i BGC richiede benchmark diversificati per compito e consapevoli degli shift, e che il quadro può essere generalizzato alla progettazione di benchmark anche al di fuori dei BGC.