Diffusione discreta ambientale: usare i dati sbagliati al momento giusto per apprendere in modo efficiente dai dati

Abstract degli autori

Presentiamo RefineMix, un metodo per addestrare modelli di diffusione discreta quando i dati sono estremamente scarsi, un vincolo comune nelle applicazioni scientifiche. RefineMix utilizza dati fuori distribuzione in determinati istanti del processo di diffusione per migliorare la generalizzazione senza introdurre distorsioni nella distribuzione di campionamento. Sebbene questa strategia sia stata studiata nella diffusione continua, quella discreta presenta una difficoltà specifica: a differenza del rumore gaussiano, il mascheramento conserva informazioni sul dominio nei token non mascherati, limitando l’uso di dati affini quando i livelli di rumore sono elevati. Quando invece i livelli di rumore sono bassi, i supporti di fatto disgiunti dei domini diventano un vantaggio: il modello può apprendere sia dai dati del dominio sia da quelli fuori distribuzione senza introdurre distorsioni nel campionatore. Formalizziamo queste intuizioni e forniamo un’analisi teorica del metodo proposto. Negli esperimenti, condotti in cinque scenari di cambiamento del dominio, RefineMix eguaglia o supera il fine-tuning sui dati del dominio e il mescolamento dei dati. Nella generazione di sequenze proteiche, il fine-tuning con appena 197 esempi del dominio quasi raddoppia, rispetto al fine-tuning standard, la quota di proteine generate che sono al tempo stesso nuove, capaci di ripiegarsi e appartenenti alla famiglia.