Oltre l’accuratezza nei benchmark: un test diagnostico per le previsioni chimiche degli LLM

Abstract degli autori

Gli LLM hanno ottenuto risultati elevati nei benchmark di previsione chimica. Tuttavia, i metodi di valutazione esistenti forniscono di norma direttamente informazioni sull’identità dell’entità bersaglio, rendendo difficile stabilire se le previsioni dei modelli derivino da capacità trasferibili di ragionamento sulle relazioni tra struttura e proprietà oppure si basino su informazioni contestuali relative al bersaglio o sul recupero di informazioni dalla memoria. Proponiamo il framework Identity-Blinded Reasoning Diagnostic per valutare i modelli di previsione chimica quando le informazioni sull’identità dell’entità bersaglio sono nascoste. In questo framework, il bersaglio non è più definito direttamente dalla propria identità come entità, ma da un’entità di partenza nota e da un’operazione esplicita di modifica strutturale. Questa impostazione conserva le informazioni necessarie a determinare il bersaglio, riducendo al contempo le opportunità per i modelli di accedere a indizi sulla sua identità. Valutiamo il framework su sei compiti che comprendono la previsione degli odori, delle proprietà molecolari e della resa delle reazioni, oltre alla retrosintesi. I risultati mostrano che, in generale, i modelli ottengono previsioni migliori quando le proprietà dell’entità di partenza e di quella bersaglio sono coerenti. Fornire esplicitamente le etichette dell’entità di partenza rafforza ulteriormente questa dipendenza. Inoltre, mantenendo invariati l’entità bersaglio, la modifica strutturale e l’etichetta di riferimento, la sostituzione della sola etichetta dell’entità di partenza fa sì che alcune previsioni dei modelli si spostino sistematicamente verso le etichette di partenza usate in sostituzione. Questi risultati indicano che un’elevata accuratezza nei benchmark di previsione chimica non implica necessariamente che gli LLM possiedano capacità affidabili di ragionamento sulle relazioni tra struttura e proprietà. Il nostro framework diagnostico offre un approccio di valutazione controllata per verificare se i modelli siano effettivamente in grado di aggiornare le previsioni in base alle modifiche delle entità. Il framework può essere esteso ad altri compiti di IA per la scienza, in particolare a quelli in cui i bersagli possono essere definiti attraverso trasformazioni di entità note.