Quale modello per quale ruolo? Raccomandazioni di Pareto efficienti in termini di costi per i workflow agentici basati su LLM

Abstract degli autori

I workflow agentici basati su LLM impiegano sempre più spesso modelli diversi per ruoli specializzati. Gli utenti possono preferire compromessi diversi tra la qualità del risultato e il costo di impiego, tenendo talvolta conto anche della latenza. Trovare buone assegnazioni comporta un costo di ricerca distinto da quello necessario per valutare più candidati. Presentiamo Cost-Coupled Gittins (CC-Gittins), un’estensione multiobiettivo della ricerca di Gittins a obiettivo singolo che tiene conto dei costi, per formulare raccomandazioni di Pareto. Il metodo sfrutta il legame tra i costi di valutazione e quelli di impiego: le assegnazioni più costose da impiegare sono anche più costose da valutare. La ricerca alterna la ricerca di una qualità più elevata a quella di un costo di impiego più basso, riutilizzando ogni valutazione per orientare entrambe. Dopo ogni batch, CC-Gittins raccomanda assegnazioni non dominate sulla base di stime della qualità e del costo di impiego corrette per l’incertezza. Valutiamo CC-Gittins su otto matrici qualità-costo ricavate da workflow con da due a cinque ruoli e fino a 1.681 assegnazioni candidate. Valutiamo inoltre il metodo considerando la latenza come terzo obiettivo. Negli otto benchmark, CC-Gittins ricostruisce una parte sostanziale della vera frontiera di Pareto con circa il 10% del costo di una valutazione esaustiva e, al 30%, ne ricostruisce la maggior parte con pochi falsi positivi.