Oltre i benchmark: i piccoli modelli a pesi aperti riescono a svolgere veri lavori di programmazione?

Abstract degli autori

Far generare testo a un modello linguistico a pesi aperti non equivale a fargli portare a termine un lavoro di programmazione. Questo resoconto retrospettivo di esperienza empirica sui sistemi ripercorre il mio lavoro ingegneristico da luglio a ottobre 2026 su client per la programmazione, configurazioni di serving specifiche per modello, vLLM, SGLang, llama.cpp e MLX. Anche dietro un endpoint nominalmente compatibile, i modelli differivano per il formato delle chiamate agli strumenti, la gestione dei turni, il comportamento rispetto al contesto, il riutilizzo della cache e l’affidabilità. Mettere un modello a disposizione tramite serving, ottenere testo coerente, eseguire chiamate agli strumenti e produrre codice che superi verifiche indipendenti del comportamento si sono rivelati livelli di avanzamento distinti. Le evidenze comprendono 4.165 turni del gateway per agenti di programmazione tratti dalle mie sessioni, 623 attività di debug e tre studi distinti sulla delega, con verifiche comportamentali nascoste e Claude Opus 5.5 come modello principale fisso. Per le richieste salvate con prefisso non riutilizzato, il tempo mediano al primo token è stato di circa 69,4 s, contro 2,8 s per le richieste con un elevato riutilizzo (dato osservazionale). In uno studio di 45 prove, la programmazione diretta ha superato 15/15 prove e la delega a un modello esecutore Qwen3-Coder 30B-A3B quantizzato ne ha superate 12/15 e 14/15. Su una seconda serie di 15 attività, con un contratto fisso per gli artefatti, la coorte completata dopo le sostituzioni ha ottenuto 45/45 con la programmazione diretta e 12/45 con un modello esecutore Nemotron Cascade 2 (11 sostituzioni del modello esecutore). Sedici sessioni, interrotte dal limite dell’abbonamento prima di qualsiasi chiamata al modello, sono state sostituite; conteggiarle come fallimenti dà risultati di 37/45 e 8/45. Un modello esecutore Qwen3-Coder ha ottenuto 0/45. In entrambi gli studi che prevedevano una modalità diretta, la programmazione diretta ha avuto un costo del modello di frontiera per successo verificato, equivalente ai prezzi di listino delle API, inferiore. Un’analisi diagnostica successiva ha rilevato che 19 dei 36 artefatti respinti unicamente per la rinomina dei parametri superavano le verifiche nascoste senza modifiche; non sono conteggiati come successi. Il contributo è un resoconto, con conclusioni commisurate alle evidenze, di serving, protocollo degli agenti, continuità delle sessioni, validazione degli artefatti e verifica nella pratica. I risultati degli studi non sono aggregati e non costituiscono una classifica dei modelli o degli ambienti di esecuzione.