The Pulse
Buoyant rilascia Kinference, un control plane open source per eseguire vLLM su Kubernetes
Buoyant ha rilasciato Kinference, un progetto open source che si appoggia a vLLM e aggiunge limiti alla frequenza dei token, monitoraggio di utilizzo e costi per tenant, bilanciamento del carico che tiene conto della cache KV e policy di in
AI.info Team · Scritto con l’IA · verificato ·
Kinference è progettato come livello di control plane per una piattaforma di inferenza
Il team di Kinference ha annunciato Kinference il 4 novembre 2026 come nuovo progetto open source per costruire piattaforme di inferenza scalabili con vLLM. Il team afferma di aver creato il progetto in Buoyant dopo aver visto le difficoltà incontrate dai clienti nell’eseguire modelli a pesi aperti nei propri ambienti. Kinference usa vLLM per l’inferenza sottostante e offre limiti alla frequenza dei token, monitoraggio di utilizzo e costi dei tenant, bilanciamento intelligente del carico e policy di inferenza. Il team di Kinference afferma di aver progettato il progetto come livello di control plane: Kinference può essere abbinato a uno stack esistente indirizzando i client di inferenza al suo endpoint HTTP.
Kinference offre un bilanciamento del carico specifico per l’inferenza
I client possono inviare a quell’endpoint traffico di inferenza compatibile con OpenAI o Anthropic. Oltre alle policy e a un livello di instradamento, il bilanciamento del carico specifico per l’inferenza di Kinference tiene conto di segnali come la lunghezza delle code delle GPU, le prestazioni storiche e il contenuto della cache KV sulla GPU. Il team di Kinference afferma che tenere conto della cache KV permette a Kinference di inviare le richieste al worker vLLM che dovrà svolgere meno lavoro per quella specifica richiesta. Nei benchmark pubblici di Kinference rispetto al bilanciamento del carico standard di Kubernetes, Kinference ha ridotto il tempo mediano al primo token (TTFT) del 95% e la latenza mediana end-to-end del 45% delle richieste su un tipo di carico di lavoro.
Per il benchmark della capacità, il team di Kinference ha misurato le richieste al minuto che ogni endpoint poteva servire rispettando un SLO di latenza. Kinference ha raggiunto un goodput 7,4 volte superiore sul carico shared-prefix e circa 3,5 volte superiore su quello multiturn. È riuscito a rispettare l’SLO scelto con 32 richieste simultanee, il livello più alto misurato, sul carico shared-prefix e con 8 richieste simultanee sul carico multiturn; l’approccio basato su kube-proxy non è riuscito a rispettare l’SLO a nessun livello di concorrenza.
Le policy di inferenza permettono ai responsabili delle piattaforme di instradare o rifiutare le richieste
Le policy di Kinference permettono ai responsabili delle piattaforme di instradare o rifiutare le richieste in base al tenant, al modello richiesto, allo stato del pool di GPU sottostante, alla classificazione semantica dei prompt e a molti altri fattori. Un esempio classifica la complessità dei prompt e instrada le richieste più semplici verso modelli meno costosi, a meno che, tenendo conto dell’utilizzo della cache, non sia più veloce inviare la richiesta a un modello costoso. Un altro esempio di policy invia le richieste in eccesso agli endpoint di fornitori cloud come OpenAI, Anthropic e Databricks quando la profondità della coda o la pressione sulla cache indicano che le GPU sono saturate.
Un ulteriore esempio impedisce che i prompt contrassegnati come contenenti dati personali identificabili (PII) vengano inviati a un fornitore, impostando al contempo «onEmpty: Reject» per bloccare le richieste in caso di errore. Il team di Kinference afferma che le policy possono essere sottoposte a revisione umana o da parte di agenti, registrate in git, sottoposte a linting e verifica, e applicate o ripristinate indipendentemente.
Quasi tutte le metriche sono disponibili per tenant
Kinference riporta le frequenze dei token in ingresso e in uscita, gli istogrammi delle dimensioni in token degli input e degli output e gli istogrammi delle latenze TTFT, ITL ed E2E. Le sue metriche comprendono anche i token dei prompt non presenti nella cache rispetto a quelli memorizzati nella cache, per la stima dei costi, l’utilizzo dei modelli e la saturazione delle GPU. Quasi tutte le metriche sono disponibili per tenant, così i responsabili delle piattaforme possono monitorare l’utilizzo da parte dei tenant e definire SLO specifici per le prestazioni di determinati tenant.
Il team di Kinference afferma che Kinference è interamente open source sotto licenza Apache v2 ed è disponibile da oggi su GitHub. La guida all’installazione parte dai CRD di Gateway API, poi installa i CRD e i componenti del gateway e Kinference usando Helm. Il team di Kinference afferma che feedback, segnalazioni di problemi e report di benchmark provenienti da altre installazioni sono molto graditi.