Gli LLM dipendono da strumenti specialistici per la generalizzazione fuori distribuzione nell’elucidazione strutturale MS/MS

Abstract degli autori

Di recente è stato riportato che un modello linguistico frontier è in grado di risolvere l’elucidazione strutturale tramite NMR 1D senza strumenti. Ci chiediamo se questa capacità si trasferisca alla spettrometria di massa tandem (MS/MS) nell’impostazione de novo, in cui il modello deve proporre una struttura direttamente dallo spettro, senza un elenco di candidati o una libreria di riferimento. Per distinguere il ragionamento dal richiamo mnemonico, costruiamo un benchmark di 100 analiti a partire da MassSpecGym, suddivisi in base all’impronta testuale di ciascun analita in due gruppi: in distribuzione (ben documentati in letteratura) e fuori distribuzione (sostanzialmente non documentati). Manteniamo invariati il modello, l’ambiente di esecuzione e il formato dell’output e variamo soltanto l’accesso dell’LLM a strumenti specifici del dominio. Senza strumenti, un LLM frontier raggiunge un’accuratezza Top-1 del 52% in distribuzione, ma soltanto del 2% fuori distribuzione. Solo l’accesso a generatori di strutture de novo migliora l’accuratezza fuori distribuzione, portandola fino al 38% Top-1; inoltre, l’agente così ottenuto supera i modelli de novo autonomi sia in distribuzione sia fuori distribuzione. Questi risultati suggeriscono che gli LLM, da soli, non sono efficaci nell’elucidazione strutturale de novo tramite MS/MS e che ulteriori progressi dipendono dagli strumenti specialistici a disposizione dell’agente, più che dall’LLM stesso.