Quando i modelli di ragionamento biologico usano i loro input biologici?

Abstract degli autori

I modelli di ragionamento biologico ricorrono al post-addestramento per collegare gli LLM alle rappresentazioni dei modelli fondazionali biologici e ai testi biologici. La loro accuratezza nei benchmark è considerata una prova del fatto che gli LLM ragionino su questi input. Mettiamo alla prova questa ipotesi su sei modelli di ragionamento biologico, in compiti relativi al DNA, alle proteine e alle singole cellule. Modifichiamo un input biologico mantenendo invariati la domanda e gli altri input, creiamo conflitti tra evidenze abbinando la rappresentazione prodotta dal modello fondazionale per un genoma, una proteina o una cellula al testo relativo a un altro, addestriamo sonde lineari sulle rappresentazioni ricevute dal modello linguistico e confrontiamo le tracce di ragionamento con gli input biologici. Evo2 ed ESM3 contribuiscono poco alle prestazioni di BioReason e BioReason-Pro nei compiti valutati. Mescolare l’ordine della sequenza di DNA cambia appena l’accuratezza di BioReason nella previsione delle malattie e, in presenza di conflitti tra evidenze, i due modelli seguono il testo rispettivamente nel 97,9% e nel 99,7% dei casi. Le sonde lineari addestrate sulle rappresentazioni di Evo2 ed ESM3 predicono le variabili target dei compiti: questi modelli fondazionali codificano quindi informazioni pertinenti, ma migliorano solo in misura limitata le prestazioni complessive di BioReason e BioReason-Pro. Al contrario, gli input dei modelli fondazionali contribuiscono alle prestazioni di ChatNT, Prot2Text-V2 e CellWhisperer, mentre i geni espressi in modo differenziale nella frase sui geni contribuiscono alle prestazioni di Cell2Sentence-Scale. Considerando i checkpoint SFT e RL di BioReason-Pro e 42 checkpoint di BioReason, gli aumenti dell’accuratezza non implicano un maggior contributo degli input biologici alle prestazioni. Le tracce di BioReason riportano in modo errato le variazioni dei nucleotidi, mentre quelle di BioReason-Pro descrivono funzioni omesse dalle previsioni finali in presenza di conflitti tra evidenze. Constatiamo che le attuali strategie di post-addestramento non garantiscono che le rappresentazioni dei modelli fondazionali contribuiscano alle prestazioni nei compiti.