Pagare per l’errore, non per il flusso: ottimizzazione senza etichette dei workflow multiagente durante l’esecuzione

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) costruiscono sempre più spesso workflow multiagente che scompongono un compito complesso e assegnano agenti specializzati scelti da un insieme. Costruire bene un workflow di questo tipo, però, resta difficile: quanto suddividere il compito, a quale agente affidare ogni sottocompito e quando creare un nuovo agente specializzato sono tutte decisioni cruciali che chi costruisce il workflow deve prendere in anticipo. Solo quando il workflow viene eseguito, quindi, si scopre se ciascun sottocompito riesce. Migliorare un workflow, tuttavia, è costoso. Per individuare un errore servono di solito una risposta di riferimento, un risultato valutato o un valutatore addestrato; la correzione viene poi applicata all’intero workflow mediante una nuova esecuzione, una nuova ricerca o un nuovo addestramento. Proponiamo InFlowOp, che attribuisce a ogni decisione un unico costo, calcolato senza etichette, tenendo conto sia di quanto le competenze di un agente soddisfino le esigenze di un sottocompito sia del costo necessario per eseguirlo. Prima dell’esecuzione, InFlowOp determina in modo bidirezionale la granularità della scomposizione del compito e l’assegnazione degli agenti in base a tale costo, anziché a uno schema fisso. Durante l’esecuzione, InFlowOp corregge un errore con l’intervento meno costoso, usando lo stesso costo che guida il workflow sia mentre viene costruito sia mentre viene eseguito. Per affrontare la difficoltà di valutare i workflow nel loro insieme, introduciamo Braid, un benchmark i cui compiti richiedono un coordinamento tra più agenti che va oltre le capacità di un singolo agente. In diversi ambiti e con diversi modelli di base, InFlowOp supera le baseline a singolo agente fino a $+11.97\%$, ottenendo $+9.64\%$ con l’ottimizzazione durante l’esecuzione. La pagina del progetto: https://xhguo7.github.io/InFlowOp/.