RouteWeaver: intrecciare la selezione della modalità e l’esecuzione in un instradamento unificato degli LLM

Abstract degli autori

L’instradamento degli LLM seleziona e coordina dinamicamente modelli linguistici eterogenei per compiti diversi. Tuttavia, gli approcci esistenti si basano in larga misura su una modalità di esecuzione predefinita, come l’instradamento a turno singolo, a più turni o basato su agenti. Questo determina in anticipo come vengono organizzate le chiamate ai modelli e limita la capacità di adattarsi alle esigenze delle diverse richieste. Proponiamo RouteWeaver, un sistema unificato di instradamento che integra queste modalità in un’unica politica basata su LLM, imparando congiuntamente quale modalità usare e come selezionare i modelli al suo interno. Per ottimizzare insieme la selezione della modalità e l’esecuzione al suo interno, sviluppiamo COMET-GRPO (COordinated Mode-Execution Training), che scompone il vantaggio a livello di traiettoria in segnali distinti per le due decisioni, consentendo un’attribuzione del merito più mirata a ciascun livello. Introduciamo inoltre l’esplorazione progressiva, che sposta gradualmente l’addestramento da modalità assegnate dall’esterno alla selezione autonoma: il sistema impara così prima a eseguire ciascuna modalità e poi a decidere quando usarla. Valutiamo RouteWeaver in matematica, programmazione, conoscenze, ragionamento logico e richiamo di informazioni fattuali. RouteWeaver raggiunge un’accuratezza media del 61,4%, con un miglioramento relativo dell’11,03% rispetto alla baseline più forte, e supera tutte le baseline considerate in ciascuno dei cinque ambiti. Gli studi di ablazione mostrano che sia COMET-GRPO sia l’esplorazione progressiva sono importanti per l’instradamento adattivo: senza l’esplorazione progressiva, la politica di instradamento converge interamente sull’esecuzione a turno singolo.