Tradurre il traduttore: scomporre il costo della comunicazione tra agenti imposta in inglese

Abstract degli autori

Le architetture LLM multi-agente, come LangChain e AutoGen, presuppongono in larga misura che l’inglese sia la lingua franca per la comunicazione interna tra agenti, anche quando il compito dell’utente finale è in un’altra lingua. Colmiamo questa lacuna valutando un sistema centrale a due agenti per l’estrazione e la risposta, con un agente aggiuntivo per la retrotraduzione nella condizione in cui è imposto l’inglese, in quattro lingue tipologicamente diverse (hindi, cinese, spagnolo e arabo; n = 300 per lingua) usando il modello Aya-23-8B. Confrontiamo una pipeline nella lingua nativa con una in cui è imposto l’inglese, che include un passaggio finale di retrotraduzione dall’inglese alla lingua dell’utente. Rileviamo una penalità statisticamente significativa dovuta all’imposizione dell’inglese (che resiste a una rigorosa correzione di Bonferroni), che isola il costo dell’instradamento in inglese dai costi generali dell’orchestrazione multi-agente. Rispetto all’esecuzione multi-agente nella lingua nativa, imporre l’inglese per la comunicazione tra agenti riduce l’accuratezza Exact Match da 13,0 punti percentuali (spagnolo) fino a 30,6 punti percentuali (hindi). Usando i punteggi chrF come misura diagnostica della sovrapposizione lessicale con il riferimento in inglese, rileviamo che una sovrapposizione inferiore è fortemente associata al fallimento della pipeline, il che è coerente con l’ipotesi che la perdita dovuta alla traduzione contribuisca in misura rilevante al calo delle prestazioni osservato. Questi risultati offrono solide ragioni a favore dell’instradamento nella lingua nativa nei framework per agenti quando le lingue di partenza e di arrivo sono tipologicamente distanti, riducendo così un costo di traduzione cumulativo.