The Pulse
Rafay consente agli operatori di Token Factory di fissare limiti alla spesa per i modelli per organizzazione, progetto e utente
Rafay Systems afferma che Token Router e Token Budgets consentono agli operatori di Token Factory di instradare le richieste di inferenza tra distribuzioni all’interno del cluster e fornitori esterni. Secondo l’azienda, gli amministratori p
AI.info Team · Scritto con l’IA · verificato ·
Rafay Systems ha annunciato il 5 novembre nuove funzionalità di Token Router e Token Budgets in Rafay Token Factory. Secondo Rafay, queste aggiunte consentono agli operatori di indirizzare le richieste di inferenza verso modelli all’interno del cluster o fornitori esterni, tra cui OpenAI e Anthropic. Secondo Rafay, Token Router sceglie la destinazione di una richiesta in base a priorità, stato dei fornitori e costo, mentre Token Budgets consente agli amministratori di fissare limiti di spesa giornalieri o mensili per un’organizzazione, un progetto o un singolo utente e di applicarli prima che una richiesta venga ammessa.
Un solo endpoint, più destinazioni per l’inferenza
Rafay afferma che Token Router si colloca tra le applicazioni e i fornitori di servizi di inferenza. Gli operatori lo gestiscono tramite un’unica API, rilasciano agli utenti un unico set di credenziali e visualizzano la spesa per i token in un solo posto, potendo cambiare le fonti dei modelli senza dover modificare il codice delle applicazioni. Token Factory può mettere a disposizione modelli esterni di OpenAI, Anthropic e di qualsiasi endpoint compatibile con OpenAI insieme alle distribuzioni all’interno del cluster, usando la stessa interfaccia API e gli stessi strumenti di monitoraggio dei costi e controlli di failover. Ogni backend può organizzare i fornitori in gruppi ordinati per priorità: il traffico viene indirizzato prima al gruppo con la priorità più alta e passa a quello successivo se il gruppo primario non è disponibile.
Rafay indica tra le configurazioni comuni di instradamento l’uso prioritario di modelli ospitati in proprio con ricorso al cloud per i picchi di carico, l’uso prioritario di modelli di frontiera con un ripiego all’interno del cluster e la resilienza multi-vendor tra fornitori. Le richieste vengono distribuite in modo uniforme tra i fornitori operativi di un gruppo, che può combinare distribuzioni all’interno del cluster e API esterne. I fornitori che non superano i controlli sullo stato vengono automaticamente esclusi dalla rotazione e vi rientrano quando tornano operativi. Gli operatori possono fissare tariffe distinte per i token di input, output, input in cache e scrittura nella cache per ciascun gruppo, così che ogni richiesta sia misurata alla tariffa del gruppo che l’ha servita.
Secondo Rafay, i budget possono indirizzare il traffico, non solo fermarlo
Secondo Rafay, i limiti alla frequenza delle richieste non rendono prevedibile la spesa per l’IA, perché una chiamata a un modello di piccole dimensioni può costare una frazione di centesimo, mentre una lunga richiesta di ragionamento a un modello premium costa molto di più. Gli amministratori possono fissare budget giornalieri o mensili a livello di organizzazione, progetto e utente, nella valuta supportata dal fornitore del servizio. Il budget di un utente lo segue tra i progetti e ogni richiesta viene verificata rispetto a tutti i budget applicabili prima di essere ammessa. Quando un budget è esaurito, la politica dell’operatore può respingere le richieste, continuare a servirle o indirizzarle a un modello meno costoso.
I nuovi progetti e utenti ereditano budget predefiniti, che gli amministratori possono aumentare per carichi di lavoro più pesanti senza modificare applicazioni o endpoint. Gli avvisi sulle soglie informano gli amministratori prima che venga raggiunto un limite; gli sviluppatori possono vedere la propria spesa e il budget residuo nel Rafay Developer Hub. I budget si azzerano automaticamente ogni giorno o mese. Quando un tenant, un team o una chiave API si avvicina al proprio limite di budget o lo raggiunge, Token Router può spostare il relativo traffico verso un gruppo meno costoso, per esempio un modello a prezzo inferiore o ospitato in proprio, invece di respingere le richieste.
Rafay punta ai neocloud e alle aziende che gestiscono token factory interne
Rafay afferma che i neocloud che offrono modelli open source come servizio possono aggiungere modelli di frontiera ai propri cataloghi tramite la stessa API e le stesse credenziali già utilizzate dai loro clienti. Possono offrire ai clienti una quota giornaliera di utilizzo dei modelli di frontiera, per poi indirizzare il traffico del resto della giornata verso modelli open source ospitati sulle proprie GPU. Gli amministratori dei tenant possono gestire i budget per i propri progetti e utenti. Secondo Rafay, ogni token viene fatturato alla tariffa del modello che lo ha servito.
Per le aziende, un team di piattaforma può fissare una quota giornaliera per l’uso di modelli di frontiera per ogni team o applicazione. Una volta esaurita la quota, Token Router può spostare le richieste verso un modello open source sulle GPU dell’azienda per il resto della giornata, mentre le applicazioni continuano a chiamare lo stesso endpoint. La quota si azzera il giorno successivo e una dashboard sull’uso dei token, con filtri per utente ed esportazione in CSV, supporta la rendicontazione e l’addebito interni dei costi.
Aggiunti anche sistemi di protezione, tariffe per la cache e rotazione delle chiavi
Rafay afferma che i servizi di protezione che implementano LiteLLM Generic Guardrail API possono esaminare prompt e risposte nel traffico instradato, applicando le stesse politiche ai modelli all’interno del cluster e a quelli esterni. Gli operatori possono tariffare separatamente i token serviti dalla cache dei prefissi, trasferendo i risparmi dovuti alla memorizzazione dei prompt nella cache ai carichi di lavoro di IA agentica e di recupero delle informazioni. I team operativi possono inoltre imporre la scadenza delle chiavi API, la rotazione automatica con una finestra di sovrapposizione e avvisi prima della scadenza delle chiavi.
«Token Router e Token Budgets trasformano quel compromesso in una politica. Gli operatori decidono quale modello serve ogni richiesta e quanto costa, e le applicazioni non devono mai cambiare. I neocloud hanno un modo per vendere l’accesso ai modelli di frontiera mantenendo impegnata la propria capacità, e le aziende ottengono una spesa per l’IA prevedibile».
Mohan Atreya, direttore prodotto di Rafay Systems
Secondo Rafay, Token Router, Token Budgets e le altre nuove funzionalità sono disponibili per i clienti di Rafay Token Factory dal 5 novembre.