Instradamento condizionato dall’agente: percorsi di ragionamento diversi in un unico modello congelato

Abstract degli autori

Generare più soluzioni può far emergere metodi alternativi, ma le traiettorie aggiuntive spesso riformulano un unico approccio dominante. Esaminiamo se la capacità condizionale di un modello mixture-of-experts (MoE) sparso e congelato possa produrre questa diversità a partire da un unico prompt che presenta il problema, senza ruoli assegnati dall’utente, metodi prescritti, fine-tuning né copie del modello. Agent-Conditioned Routing (ACR) assegna a $m$ traiettorie parallele maschere persistenti e non addestrate, condivise e private, che determinano l’idoneità degli esperti, mantenendo il router dei token appreso e dipendente dall’input. Su un benchmark selezionato di matematica e fisica con più modalità, composto da 126 quesiti, con modelli giudici che leggono per intero le derivazioni riportate, contiamo i problemi per i quali, tra le soluzioni soft-correct di quattro traiettorie, emergono almeno due metodi principali distinti. A parità di budget di output, ACR raggiunge circa il doppio dei problemi rispetto alla migliore impostazione della temperatura con GLM 5.3 (37,3 contro 18,7) e 1,67 volte i problemi con GPT-5.6 Sol (45,00 contro 27,00). Una verifica in cieco condotta da quattro esperti su un campione stratificato di 30 problemi rileva inoltre più soluzioni basate su metodi diversi con ACR su entrambi i modelli di base, ma una minore correttezza. Studi di ablazione a parità di idoneità mostrano per ACR modesti vantaggi nel numero di casi con più metodi, mentre le maschere ricampionate per ciascun token raggiungono una maggiore correttezza. Un prompt sequenziale informato produce una diversità ancora maggiore, utilizzando le soluzioni precedenti e richieste esplicite di metodi alternativi. ACR aggiunge circa 160 KiB di stato delle maschere. In un microbenchmark di tre problemi con un limite di 1.024 token, la latenza e l’utilizzo massimo della VRAM restano entro il 3% dei valori del campionamento a temperatura in batch.