Non funzionanti fin dall’arrivo: artefatti di LLM quantizzati non funzionali nei registri pubblici di modelli e come individuarli

Abstract degli autori

Gli sviluppatori scaricano modelli linguistici di grandi dimensioni (LLM) quantizzati da registri pubblici per eseguirli localmente. Nessuno dei registri che abbiamo esaminato documentava test funzionali sui propri file. Abbiamo testato tutti i 305 tag GGUF idonei a generare codice (il formato di llama.cpp) in 15 linee di modelli nella libreria ufficiale di Ollama, oltre a 22 file molto popolari della community di Hugging Face. Un test preliminare del codice composto da 15 attività ha individuato alcuni casi sospetti, che abbiamo poi ritestato su tutte le 164 attività di HumanEval+. Sette tag ufficiali (il 2,3%) ne hanno risolte al massimo sei. Erano tutti quantizzazioni a basso numero di bit di modelli con al massimo quattro miliardi di parametri. Abbiamo ricostruito cinque file sospetti a partire dai pesi originali. Tutti e cinque i file dei registri corrispondevano ai nostri rebuild non calibrati, tensore per tensore, quindi nessuno era corrotto. La riproducibilità esatta non implicava la funzionalità. Mantenendo invariati pesi, toolchain e combinazione di tensori, l’aggiunta di una matrice di importanza ha portato i punteggi di Qwen2.5-Coder-3B, a tre livelli di quantizzazione, da zero a 76–113 attività su 164. La stessa procedura non calibrata ha lasciato funzionale il modello più piccolo Qwen2.5-Coder-1.5B, dimostrando che la procedura da sola non permette di prevedere il fallimento. Nessuno dei 66 tag campionati che hanno superato il test preliminare era non funzionale. Rendiamo disponibili i dati dell’audit e lo strumento quantcheck e raccomandiamo di sottoporre a test i tag a basso numero di bit prima della pubblicazione, quindi di calibrarli o di non pubblicare quelli che non superano il test.