Vai al contenuto
AI.info

The Pulse

Hugging Face passa a OpenRouter per instradare le richieste ai modelli linguistici

Hugging Face ha sostituito il proprio router per le richieste ai modelli linguistici con OpenRouter, aggiungendo la possibilità di riprovare con altri provider. Il codice e i token esistenti continuano a funzionare, ma per quei modelli non è più possibile usare le proprie chiavi API personalizzate dei provider.

Hugging Face passa a OpenRouter per instradare le richieste ai modelli linguistici

Hugging Face ha sostituito il proprio router per le richieste ai modelli linguistici con OpenRouter, aggiungendo tentativi automatici con un altro provider quando una chiamata non va a buon fine. La modifica consente agli sviluppatori di chiamare modelli open-weight sull’Hugging Face Hub serviti da un provider usando il token e l’API che già utilizzano, ha dichiarato l’azienda in un post sul blog.

Il passaggio è stato reso noto il 16 novembre nell’ambito di una partnership tra le aziende. Il codice esistente resta invariato, ma gli utenti non possono più fornire le proprie chiavi API dei provider per le richieste ai modelli linguistici.

Come vengono instradate le richieste

In precedenza, Inference Providers selezionava un unico provider per una richiesta e restituiva un errore se quel provider non funzionava. OpenRouter sceglie un provider sulla base di rilevazioni in tempo reale di prezzo, velocità e affidabilità; se il primo tentativo non va a buon fine, la richiesta viene riprovata con un altro provider nell’ambito della stessa chiamata.

Il router supporta le API Chat Completions e Responses di OpenAI e l’API Messages di Anthropic per ogni modello di chat, indipendentemente dal provider che lo serve. Il post include anche guide alla configurazione per Claude Code, Codex, OpenCode, Pi e Hermes Agent.

Gli sviluppatori possono sovrascrivere la selezione predefinita aggiungendo un suffisso all’ID di un modello. Il suffisso :fastest seleziona il throughput più elevato, :cheapest seleziona il prezzo più basso e un nome di provider come :novita limita la richiesta a quel provider.

L’instradamento tiene conto anche della cache: una conversazione resta con il provider che conserva la cache del relativo prompt. Gli sviluppatori possono rendere esplicita l’associazione inviando un UUID stabile per ogni conversazione nell’header X-HF-Session-Id.

Le rilevazioni di OpenRouter sul suo sistema di instradamento, ricostruito di recente, hanno riscontrato una riduzione del 46% degli errori di capacità, un miglioramento del 16,9% nel tempo al primo token e un miglioramento del 16,3% nel throughput.

Fatturazione e chiavi dei provider

Le richieste vengono addebitate sull’account o sull’organizzazione Hugging Face dell’utente, invece che tramite una chiave personalizzata del provider. Gli utenti possono comunque selezionare un provider con un suffisso o disabilitare provider nelle impostazioni. Le chiavi personalizzate per i provider di immagini e video continuano a funzionare.

I prezzi restano quelli applicati dal provider nella fattura Hugging Face, senza maggiorazioni da parte di Hugging Face. Gli utenti PRO ricevono 2 dollari in crediti ogni mese, mentre le organizzazioni Team ed Enterprise ricevono 2 dollari per postazione.

La generazione di immagini, video e audio continua a passare direttamente da Hugging Face Inference Providers, senza transitare da OpenRouter. Continua a usare lo stesso token e la stessa API.

Dettagli sui provider nelle pagine dei modelli

Le pagine dei modelli ora includono le schede Providers e Metrics accanto al widget di chat. La scheda Providers elenca i provider verso cui OpenRouter può instradare un modello, i rispettivi prezzi di input e output, la velocità e il tempo di attività nelle ultime 24 ore. Metrics mostra il prezzo migliore, il throughput, il tempo al primo token, la lunghezza del contesto e il tempo di attività tra quelli disponibili.

Gli utenti possono anche consultare la spesa suddivisa in base al provider che ha gestito ciascuna richiesta. Le impostazioni dell’organizzazione consentono di disabilitare i provider per ogni richiesta addebitata all’organizzazione.

Le aziende prevedono di consentire agli utenti di collegare un account OpenRouter a Hugging Face e di instradare più attività tramite OpenRouter.

Fonte

  1. Hugging Face

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli