SCOPE: compilazione di politiche in linguaggio naturale in programmi di predicati neurosimbolici

Abstract degli autori

L’applicazione delle politiche agli agenti basati su LLM è passata dalla moderazione dei contenuti di un singolo scambio alla valutazione di politiche composite, specifiche per ciascuna applicazione, su trascrizioni di conversazioni a più turni e traiettorie di chiamate agli strumenti. I modelli di guardrail sottoposti a fine-tuning sono efficienti, ma le loro prestazioni peggiorano con le politiche composite. Gli approcci che usano un LLM come giudice raggiungono una maggiore accuratezza, ma comportano costi di inferenza elevati e tendono a produrre previsioni instabili. I metodi neurosimbolici offrono un’alternativa naturale: scompongono la politica in decisioni neurali circoscritte, combinate secondo una logica esplicita. Tuttavia, i livelli simbolici esistenti non hanno l’espressività necessaria e sono ottimizzati rispetto a dati fissi anziché alla politica stessa. Per affrontare il problema, presentiamo SCOPE, che compila una politica in un programma eseguibile composto da predicati neurali eseguiti da modelli di piccole dimensioni, estrattori deterministici e codice che ne combina gli output. Il programma e i dati usati per addestrarlo vengono ottimizzati congiuntamente mediante la generazione avversaria di controesempi mirati ai punti in cui il programma si discosta dalla politica. Valutiamo SCOPE su un benchmark di compiti basati su politiche reali, confrontandolo con metodi di ottimizzazione dei prompt, scomposizione dei compiti e generazione di workflow: SCOPE ottiene la più alta accuratezza media tra compiti e modelli. I programmi ottimizzati con l’esecutore meno potente si trasferiscono ad altri modelli senza ulteriori ottimizzazioni. Possono così essere impiegati in produzione su modelli poco costosi, raggiungendo un’accuratezza paragonabile a quella dei modelli di ragionamento di frontiera. A differenza di questi modelli monolitici, SCOPE produce previsioni nettamente più stabili e ogni verdetto è interpretabile attraverso gli output dei predicati che lo hanno prodotto. Inoltre, convalidiamo le componenti principali del nostro metodo mediante uno studio di ablazione. SCOPE consente quindi di applicare le politiche su scala di produzione in modo affidabile, interpretabile ed efficiente.