TagBO: ottimizzazione bayesiana su grafi, guidata da LLM e consapevole del compito, per la scoperta scientifica

Abstract degli autori

Nella scoperta scientifica, l’ottimizzazione a variabili miste richiede spesso di esplorare ampi spazi combinatori attraverso valutazioni sperimentali costose, rendendo essenziale un’ottimizzazione bayesiana (BO) efficiente nell’uso dei campioni. Tuttavia, i metodi di BO esistenti si affidano in genere a descrittori strutturali per definire la similarità tra variabili categoriali, assumendo implicitamente che la similarità strutturale rifletta quella delle prestazioni nel compito. Nell’ottimizzazione scientifica, questa ipotesi è spesso disattesa, dando luogo a rappresentazioni surrogate scarsamente allineate all’obiettivo di ottimizzazione. Per affrontare questo limite, proponiamo TagBO (Task-aware Graph Bayesian Optimization), un metodo che integra priori relazionali derivati dagli LLM con informazioni strutturali basate su descrittori per l’ottimizzazione bayesiana a variabili miste. Invece di usare direttamente gli output degli LLM come punteggi predittivi, TagBO li considera una fonte potenzialmente rumorosa di priori relazionali consapevoli del compito e ricava dal ragionamento degli LLM segnali relazionali ordinali di massima granularità, per costruire strutture di similarità consapevoli del compito nell’ottimizzazione scientifica. TagBO esegue quindi un’ottimizzazione bayesiana vincolata con processi gaussiani sullo spazio di rappresentazione congiunto, discreto e continuo, così ottenuto. Gli esperimenti su diversi compiti di formulazione in ambito chimico e dei materiali dimostrano che TagBO migliora costantemente l’efficienza campionaria, a parità di budget di valutazione, con LLM di capacità diverse.