MetroLLM-Bench: valutare i modelli linguistici come ambienti di esecuzione per i chioschi del trasporto pubblico

Abstract degli autori

Presentiamo MetroLLM-Bench, un benchmark di 955 casi per testare i modelli linguistici come livello delle regole decisionali di un chiosco del trasporto pubblico. Copre sei reti metropolitane reali, da 37 a 414 stazioni, e undici categorie, tra cui la ricerca dei percorsi, il calcolo delle tariffe, le interruzioni del servizio, l’accessibilità e gli input avversari. In ogni caso, il modello deve chiamare strumenti strutturati e fornire uno stato finale renderizzabile da una macchina, contenente un esito, una tariffa per ciascun biglietto quando applicabile e un’azione del chiosco. Quattordici componenti di valutazione deterministiche costituiscono il Tier 1; otto componenti valutano la qualità semantica nel Tier 2, sei delle quali ricorrono a un modello linguistico come giudice. Riportiamo il punteggio del Tier 1 e quello combinato dei due tier. Una suddivisione stratificata 75/25 riserva 717 casi alla generazione di dati di addestramento e 238 alla valutazione su casi esclusi dall’addestramento. Valutiamo ventisei modelli di sei fornitori, ventitré dei quali sono inclusi nella classifica. Sulla parte riservata alla valutazione, un modello studente Qwen 3.5 da 4B addestrato tramite fine-tuning efficiente in termini di parametri (PEFT) supera entrambi i tier di GPT-5.6 nel Tier 1 (91,3 contro 90,6 e 90,0) e pareggia il risultato di GPT-5.4 full al massimo livello di sforzo di ragionamento (91,4), con un ingombro di 2,6 GB in formato Q4_K_M. A questa scala di addestramento, i modelli studenti più grandi, da 9B e 27B, non offrono ulteriori miglioramenti nel Tier 1 rispetto a quello da 4B. Nelle quattro dimensioni di Qwen, il guadagno del PEFT rispetto al corrispondente modello di base diminuisce da +7,03 punti per il modello da 2B (tre seed di addestramento) a -0,91 per quello da 27B; per ogni dimensione, tutti i seed mostrano la stessa direzione. Un modello di riferimento deterministico basato su regole raggiunge 84,6 nel Tier 1; il restante vantaggio dei modelli linguistici si concentra nell’adattamento delle regole decisionali, negli scenari complessi, nell’accessibilità e nel ragionamento temporale. Muse Glimmer 30B guida la classifica basata sul punteggio composito, e la sola configurazione di serving sposta di 2,7 punti nel Tier 1 il confronto tra Qwen 3.5 e 3.8. Il benchmark, l’infrastruttura di test, la guida alla riproduzione e i modelli studenti sottoposti a fine-tuning sono disponibili all’indirizzo https://github.com/continker/metrollm-bench.