Prevedere interazioni scientifiche mai osservate: i modelli di flusso condizionali allucinano effetti non additivi

Abstract degli autori

I modelli generativi condizionali sono sempre più usati per fare previsioni scientifiche al di fuori del supporto diretto dei dati di addestramento. Eppure, le domande scientifiche riguardano spesso la possibilità che un intervento modifichi l’effetto di un altro. Queste interazioni possono essere di primario interesse pur spiegando solo una piccola parte della variazione totale: un modello può quindi apparire complessivamente accurato senza cogliere l’effetto scientifico rilevante. Non è ancora chiaro come questi modelli apprendano le interazioni e quando riescano a estrapolarle a condizioni mai osservate. Studiamo quindi la ricostruzione delle interazioni nei modelli di flow matching usando un simulatore di serie temporali fisiologiche, dati sulla relazione dose-risposta dei farmaci, perturbazioni cellulari combinatorie e generazioni di conformeri molecolari, distinguendo la ricostruzione dalle strutture di interazione allucinate. Nell’ambiente controllato, gli effetti individuali vengono appresi molto prima delle interazioni e i modelli allucinano interazioni dove non esistono. Nei diversi contesti riscontriamo problemi di generalizzazione qualitativamente diversi: il successo delle previsioni dipende dal fatto che la struttura delle condizioni si mantenga passando dai bersagli osservati a quelli tenuti da parte. Quando ciò accade, le interazioni sono ricostruibili. In caso contrario, i modelli possono generare risposte plausibili senza cogliere l’interazione. Riscontriamo inoltre che le allucinazioni aumentano man mano che i bersagli diventano meno identificabili e che la ricostruzione delle interazioni può riuscire nello spazio degli output ma fallire con letture non lineari. Infine, mostriamo che le metriche aggregate di fedeltà possono nascondere se i modelli apprendano ed estrapolino le interazioni.