A parità di capacità, comportamenti diversi: uno studio controllato delle interfacce MCP e CLI per agenti linguistici

Abstract degli autori

Gli agenti linguistici agiscono sempre più spesso attraverso strumenti esterni e ambienti interattivi, rendendo l’interfaccia tra il modello e le sue capacità eseguibili parte del processo decisionale. Il Model Context Protocol (MCP) e le interfacce a riga di comando (CLI) possono esporre le stesse operazioni semantiche attraverso rappresentazioni rivolte al modello notevolmente diverse. Studiamo se queste differenze di rappresentazione modificano il comportamento degli agenti quando le capacità eseguibili sono equivalenti. Introduciamo Matched Interface Comparison and Analysis (MICA), che genera le rappresentazioni MCP e CLI a partire da un contratto semantico condiviso per le azioni e instrada le azioni decodificate attraverso lo stesso runtime. In sei modelli e tre ambienti interattivi, interfacce con capacità equivalenti producono differenze sostanziali nelle prestazioni nei compiti e nei costi di interazione. Questi effetti vanno oltre la validità superficiale e riguardano la selezione semantica delle azioni, i percorsi di errore e il recupero. Le verifiche condotte a parità di stato circoscrivono la sensibilità alla presentazione delle capacità, alla loro realizzazione e al feedback. Le traiettorie naturali appaiate rivelano una divergenza strutturata nel 94,3% dei 2.004 episodi e mostrano che le differenze iniziali si propagano nelle interazioni successive. Questa analisi individua nella realizzazione dell’interfaccia un punto diretto d’intervento. Introduciamo quindi Decoupled Action Realization and Targeted Repair (DART), che preserva gli impegni semantici convalidati e corregge al contempo la realizzazione specifica dell’interfaccia. DART migliora il punteggio al benchmark in tutte e sei le configurazioni valutate, fino a 9,0 punti, e riduce il costo in token dell’MCP in tutti e tre gli ambienti, fino a 27,1 mila token per compito. Nel loro insieme, questi risultati stabiliscono che la rappresentazione dell’interfaccia è parte dell’ambiente decisionale a ciclo chiuso che plasma il comportamento degli agenti.