SeLMRoute: evidenze semantiche probabilistiche per l’instradamento dei modelli linguistici di grandi dimensioni

Abstract degli autori

L’instradamento dei modelli linguistici di grandi dimensioni (LLM) mira a selezionare il modello più adatto per ogni richiesta in arrivo. La maggior parte dei sistemi esistenti apprende questa scelta direttamente dalle rappresentazioni vettoriali delle richieste, dalle rappresentazioni dei modelli, dai dati sulle preferenze o da gruppi di esempi simili. Questi approcci possono essere efficaci, ma la rappresentazione usata per l’instradamento raramente esplicita ciò che una richiesta richiede davvero. Presentiamo SeLMRoute, un sistema di instradamento che separa l’estrazione di evidenze semantiche indipendenti dai modelli candidati dall’apprendimento delle loro prestazioni e dall’applicazione degli obiettivi di impiego. Un modello decisionale valuta innanzitutto una serie di domande interpretabili sulla richiesta, per esempio quali capacità di ragionamento richieda e se comporti l’uso di conoscenze esterne, conservando ogni valutazione sotto forma di distribuzione di probabilità. Lo stato semantico probabilistico così ottenuto viene usato da un sistema di instradamento supervisionato leggero per stimare le prestazioni dei modelli candidati. Gli obiettivi di instradamento vengono applicati dopo la stima delle prestazioni: lo stesso stato semantico può così supportare decisioni orientate alle prestazioni o attente ai costi. Su LLMRouterBench (15 dataset, 20 modelli candidati, 11.481 richieste), SeLMRoute raggiunge un’accuratezza media di $72.08\% \pm 0.45$, mentre la valutazione out-of-fold a cinque partizioni raggruppate raggiunge $72.64\%$, contro il $69.23\%$ del migliore modello candidato usato come scelta fissa. La rappresentazione ottiene le prestazioni medie più elevate tra le rappresentazioni semantiche, dense, lessicali e a livello di dominio valutate. In un contesto separato con 13 modelli, che considera prestazioni e costi, SeLMRoute migliora le prestazioni in tutte e cinque le suddivisioni raggruppate, con un PerfGain medio del $2.66\%$. Il nostro codice è disponibile all’indirizzo https://github.com/Indigma-Innovations/SeLMRoute.