Misurare lo stack di serving invece del modello: confondenti nascosti nella valutazione locale dell’uso degli strumenti

Abstract degli autori

Un agente di programmazione deve emettere una chiamata valida a uno strumento — un’invocazione analizzabile dello strumento secondo lo schema fornito — prima che l’harness possa eseguire l’azione scelta. Studiamo in che modo gli stack di serving locali influenzano questa fase del protocollo e mostriamo che gli esiti misurati possono dipendere dal livello di serving, non soltanto dal comportamento del modello. In Ollama, la richiesta predefinita tools= è subordinata, per ciascun modello, a un flag statico del template: alcuni modelli vengono accettati e restituiscono le chiamate come testo, altri restituiscono tool_calls nativi, mentre Phi-3 e Gemma-3 vengono rifiutati prima dell’inferenza. Nel nostro harness, il rifiuto e l’esaurimento dei tentativi non vengono conservati come metadati strutturati di errore, perciò l’analisi a valle può classificarli erroneamente come mancate chiamate del modello e riportare ingenuamente una fedeltà dello 0%. L’aggiunta di un elenco testuale di strumenti mantenendo il canale nativo recupera gran parte della fedeltà misurata per i modelli accettati, mentre un protocollo testuale uniforme riduce la fedeltà per Llama-3.2, che supporta le chiamate native agli strumenti. Le verifiche incrociate su Ollama, llama.cpp, vLLM e SGLang mostrano che la stessa richiesta viene gestita in modo diverso. La decodifica vincolata elimina gli errori di parsing, ma può indurre una mancata terminazione, e le stime aggregate per turno rispetto a quelle per istanza differiscono fino a circa 55 punti. Concludiamo con una lista di controllo per considerare il comportamento del serving come parte del protocollo di valutazione.