The Pulse
DeepSeek rende pubblico DeepInfer, il suo framework di inferenza per la produzione
DeepSeek ha rilasciato DeepInfer, il framework di inferenza che, secondo l’azienda, alimenta i suoi servizi di produzione su larga scala, con licenza Apache 2.0. La prima versione supporta DeepSeek-V4.1-Flash sulle GPU NVIDIA SM100 e sulle
AI.info Team · Scritto con l’IA · verificato ·
«DeepInfer è il framework di inferenza ad alte prestazioni che alimenta i servizi di produzione su larga scala di DeepSeek.»
DeepSeek-AI
DeepSeek ha pubblicato DeepInfer su GitHub il 20 ottobre, rendendo accessibile il software che descrive come il framework di inferenza alla base dei suoi servizi di produzione. Il software è disponibile con licenza Apache License 2.0. Il primo modello supportato è DeepSeek-V4.1-Flash e il repository fornisce istruzioni per eseguire l’inferenza offline.
DeepInfer è progettato per DeepSeek-V4.1-Flash
Il framework combina il codice di esecuzione del modello e del campionatore con kernel ottimizzati e strumenti per distribuire il lavoro tra i processori. Tra le funzionalità elencate figurano il parallelismo dei dati per l’attenzione e il parallelismo bilanciato del contesto, oltre al parallelismo degli esperti e al bilanciamento del loro carico per i modelli mixture-of-experts. DeepSeek include inoltre la decodifica speculativa DSpark, la pianificazione asincrona, il campionamento deterministico e gli output strutturati.
Queste funzionalità riguardano aspetti diversi dell’inferenza: la decodifica speculativa usa token preliminari per accelerare la generazione, mentre gli output strutturati possono vincolare le risposte a formati come schemi JSON o grammatiche. Il repository elenca kernel tra cui FlashMLA, DeepGEMM, DeepEP, TileKernels e DeepSelect, insieme a kernel TileLang personalizzati. DeepSeek afferma che la pianificazione asincrona, che sovrappone la pianificazione dei batch sulla CPU all’esecuzione sul dispositivo, è abilitata per impostazione predefinita.
Due piattaforme di accelerazione, requisiti impegnativi
La versione indica come hardware supportato le GPU NVIDIA SM100 e le NPU Huawei Ascend 950. Per compilare il software servono Linux, GCC 13 o successivo e Python 3.12; gli utenti NVIDIA hanno bisogno anche di CUDA 13, mentre per Ascend è richiesto CANN 9.2. L’esempio nel README scarica il checkpoint DeepSeek-V4.1-Flash-1017 nella cache di Hugging Face alla prima esecuzione, oppure accetta una directory locale del modello.
DeepSeek afferma che il motore deriva principalmente da vLLM, con ulteriori spunti tratti da SGLang e TensorRT-LLM. Questa origine colloca la versione nell’ecosistema esistente dei software di inferenza, mentre il repository permette di esaminare i componenti specifici che DeepSeek ha assemblato e ottimizzato per la propria famiglia di modelli.
La versione non è un sistema completo per fornire il servizio
I limiti di DeepInfer sono importanti per chi ne valuta l’impiego. DeepSeek dichiara esplicitamente che la versione non include un sistema di cache per chiavi e valori, i componenti per separare il prefill dalla decodifica né il bilanciamento del carico tra repliche parallele dei dati. Il progetto offre quindi inferenza offline e numerose funzionalità del motore, ma la sua stessa documentazione precisa che serve un’infrastruttura aggiuntiva per realizzare un servizio di inferenza completo.
Il repository comprende una sezione dedicata ai benchmark delle prestazioni, ma la tabella nel README pubblicato non riporta risultati. Indica che le misurazioni usano quattro GPU SM100 per il prefill e 64 per la decodifica, ciascun gruppo all’interno di un unico dominio scale-up, e rimanda a uno script per riprodurle. In assenza di punteggi riportati, la versione documenta la configurazione hardware utilizzata nei test, ma non offre un confronto numerico delle prestazioni.
Con questa prima iniziativa, DeepSeek pubblica codice di inferenza derivato dai suoi sistemi di produzione, delimitando al tempo stesso l’infrastruttura necessaria per gestire le richieste dall’inizio alla fine. Gli sviluppatori possono esaminare ed eseguire il framework con licenza Apache 2.0, ma devono fornire autonomamente i livelli mancanti per la cache, la separazione delle fasi e il bilanciamento delle repliche.