Come decidono gli LLM agentici di chiamare gli strumenti? Un vettore di chiamata degli strumenti plasmato dalla soppressione

Abstract degli autori

La chiamata degli strumenti, ossia l’invocazione di strumenti esterni su richiesta, è centrale per gli LLM agentici. Resta però poco chiaro il meccanismo che determina se un modello chiama uno strumento o risponde direttamente. I prompt agentici sono lunghi e fortemente strutturati: combinano istruzioni di ruolo, schemi degli strumenti, template di formato e la richiesta dell’utente nell’arco di centinaia di token, creando un contesto rumoroso e fortemente intrecciato in cui non emerge un’unica variabile controllabile per l’analisi dei meccanismi. Per ottenere una variabile di questo tipo, proponiamo un metodo che trasforma prompt agentici complessi in coppie contrastive minime, nelle quali un solo verbo della richiesta determina la decisione di chiamare uno strumento: sostituire un verbo di esecuzione (per esempio, \textit{write}) con un verbo di analisi (per esempio, \textit{discuss}) inverte in modo affidabile la decisione, suggerendo che sia mediata da uno stato interno compatto. Costruiamo 500 coppie di prompt di questo tipo per Python, Java e C++ (300 per l’analisi dei meccanismi, 200 tenute da parte per la valutazione). Riconduciamo la decisione a un vettore, $μ_Δ$, che è causalmente sia necessario sia sufficiente e si generalizza oltre i prompt usati per individuarlo, estendendosi alle traiettorie native a più turni di $τ^2$-Bench e alle richieste prive di verbi. Le ablazioni comportamentali mostrano che la struttura di supporto stabilisce una propensione iniziale alla chiamata degli strumenti; la scomposizione tramite Transcoder rivela poi che i verbi di analisi sopprimono questa propensione attraverso caratteristiche che segnalano che l’uso di strumenti non è necessario, mentre i verbi di esecuzione la lasciano in gran parte intatta. A valle, le teste di attenzione che leggono la struttura di supporto e le caratteristiche MLP rilevano lo stato risultante; lo stesso meccanismo ricorre in sette modelli delle famiglie Qwen, Mistral e Granite. Il nostro codice è disponibile all’indirizzo https://github.com/XijieGo/MI4ToolCalling.