Non tutte le chiamate richiedono un modello di frontiera: valutazione dei piccoli modelli linguistici per punto di chiamata in un sistema di domotica agentico operativo

Abstract degli autori

Un sistema agentico effettua chiamate a un LLM di tipi strutturalmente diversi. Instrada le intenzioni, classifica le azioni, collega il linguaggio a un registro dei dispositivi, pianifica pipeline multiagente e scrive il codice Python che queste eseguono. La difficoltà dei punti di chiamata varia di un ordine di grandezza, eppure nella pratica un unico modello, scelto per il punto più difficile, li serve tutti. In questo lavoro valutiamo 9 modelli, da uno da 0,8 miliardi di parametri a un modello di frontiera ospitato, nei cinque punti di chiamata di un framework open source di domotica operativo (Wactorz), usando i suoi prompt di produzione senza modificarli e due installazioni reali di Home Assistant (280 casi, 2.520 chiamate valutate). Riscontriamo che la gerarchia delle capacità cambia da un punto all’altro e che i modelli più grandi non sono sempre migliori: nell’attuazione ancorata al registro, un modello da 4 miliardi di parametri ottiene risultati peggiori del corrispondente modello da 2 miliardi. I test appaiati mostrano che il miglior modello locale è statisticamente indistinguibile da entrambi i modelli ospitati in quattro punti su cinque. Solo la generazione di codice li distingue, sia rispetto a un piccolo modello ospitato (p = 0,039) sia rispetto a un modello di frontiera (p = 0,002). L’accuratezza aggregata nasconde anche un problema di sicurezza specifico dell’attuazione: i piccoli modelli gestiscono il compromesso tra accuratezza e rifiuto in modi degeneri. Un modello (Gemma4 E2B) aziona dispositivi in risposta all’87,2% delle richieste relative a dispositivi che non appartengono al sito, mentre un altro rifiuta ogni richiesta che riceve. Assegnare a ogni punto il suo miglior modello locale porta l’accuratezza al 91,8%, contro il 95,4%, senza costi per chiamata. In un’installazione operativa valutata da un utente, ospitare solo i due punti di chiamata generativi dà lo stesso risultato che ospitarli tutti (39/43 contro 39/43) con il 28% della spesa; il divario nell’attuazione previsto dal benchmark si manifesta in esattamente un caso su ventisei. Il benchmark, l’infrastruttura di test e tutti i dati raccolti sono disponibili su https://github.com/waldiez/slm-callsite-eval.