PRISM: Prior Relational Information for Self-supervised Modeling per migliorare la generalizzazione OOD nella previsione della solubilità

Abstract degli autori

La solubilità dipende dalle interazioni intermolecolari tra soluti e solventi ed è fondamentale per la scoperta di farmaci e per l’ingegneria dei processi chimici e dei materiali. Prevederla richiede la capacità di generalizzare fuori distribuzione (OOD) a soluti, solventi e miscele di solventi mai osservati: in questi casi, i metodi supervisionati risentono della scarsità di dati, mentre quelli auto-supervisionati esistenti non apprendono esplicitamente relazioni chimicamente significative. Apprendere senza etichette informazioni relazionali chimicamente significative può alleviare la scarsità di dati e migliorare la generalizzazione OOD, ma resta difficile. Presentiamo Prior Relational Information for Self-supervised Modeling (PRISM) e lo applichiamo alla generalizzazione OOD nella previsione della solubilità. PRISM è un framework di pre-addestramento senza etichette che trasforma conoscenze chimiche a priori definite da esperti in modelli teacher relazionali. Per prevedere la solubilità, addestra quattro encoder a preservare le informazioni relazionali a livello di popolazione contenute in conoscenze a priori che descrivono effetti idrofobici, elettrostatici, di polarizzabilità e sottostrutturali. Durante il pre-addestramento usa la divergenza di Kullback-Leibler (KL) per far corrispondere le distribuzioni dei vicini basate sulla distanza. Negli scenari OOD relativi a scaffold, soluti e solventi, PRISM eguaglia o supera i metodi di riferimento supervisionati e auto-supervisionati. Nello scenario OOD con miscele di solventi, mantenere fissi i quattro encoder di PRISM e addestrare una testa leggera di fusione e composizione permette di superare solidi metodi di riferimento e riduce sostanzialmente la variabilità tra esecuzioni. Gli studi di ablazione e di controllo confermano che i miglioramenti derivano dalle strutture relazionali chimicamente significative incorporate negli encoder da PRISM. Ci aspettiamo che questa strategia, che trasforma conoscenze relazionali a priori in segnali di auto-supervisione, possa estendersi oltre la previsione della solubilità, a campi in cui siano disponibili conoscenze relazionali a priori chimicamente o biologicamente significative.