The Pulse
Databricks afferma di aver aumentato di 7,5× i limiti predefiniti di frequenza per la creazione dei cluster
Databricks afferma che i limiti predefiniti alla frequenza delle richieste di creazione dei cluster sono 7,5 volte più alti. La modifica abbina limiti adattivi sui flussi di lavoro di provisioning attivi a code e a una salvaguardia fissa per l’API.

I limiti predefiniti alle richieste di creazione dei cluster sono 7,5 volte più alti, afferma Databricks, dopo aver modificato il modo in cui gestisce il lavoro di provisioning. L’azienda afferma inoltre di aver rimosso oltre un centinaio di eccezioni ai limiti di frequenza specifiche per i clienti, nel perimetro descritto.
La modifica riguarda la creazione di cluster per Databricks classic compute, ha scritto il team Compute Platform dell’azienda in un post tecnico del 18 novembre. Il team predispone macchine virtuali e coordina la creazione dei cluster su AWS, Azure e Google Cloud.
Dai limiti fissi al lavoro attivo
In precedenza, Databricks usava limiti fissi alla frequenza delle richieste per proteggere il sistema. L’azienda afferma che limiti prudenti rifiutavano le richieste dei clienti anche quando c’era capacità disponibile, pur continuando ad accettare richieste quando i servizi o i cloud provider rallentavano. Durante gli incidenti, gli ingegneri abbassavano manualmente i limiti e li aumentavano di nuovo dopo il ripristino.
Un gestore dell’API per la creazione dei cluster convalida una richiesta, registra un elemento di lavoro e restituisce una risposta. Un flusso di lavoro in background coordina quindi i servizi e predispone le risorse, comprese le macchine virtuali nel cloud; la chiamata API può durare millisecondi, mentre il flusso di lavoro può richiedere minuti.
Una richiesta può predisporre un numero di macchine virtuali diverso da quello di un’altra, e lo stato dei cloud provider influisce sulla durata del provisioning. Quando una dipendenza rallenta o non funziona, i nuovi tentativi di molti flussi di lavoro attivi possono aumentare la pressione su di essa, secondo il post. Questi nuovi tentativi interni derivano da attività accettate e non sono visibili al limitatore della frequenza delle richieste API.
Slot di provisioning
Con il nuovo approccio, una richiesta accettata attende uno slot di provisioning prima che inizi il relativo flusso di lavoro. Un flusso di lavoro attivo occupa quello slot mentre predispone le macchine virtuali e attende le dipendenze, poi lo libera al termine del flusso di lavoro.
Lo slot copre il lavoro di provisioning dopo la risposta dell’API, non l’intero ciclo di vita del cluster risultante. Un cluster avviato può continuare a eseguire i carichi di lavoro dei clienti senza occupare uno slot di provisioning.
Il controller usa segnali come la durata del provisioning e la saturazione nei pool di thread critici. Quando questi segnali indicano una congestione, riduce il numero di flussi di lavoro di provisioning simultanei; man mano che le condizioni migliorano, ne consente prudentemente un numero maggiore. Un limite più basso impedisce l’avvio di nuove operazioni finché il lavoro attivo non scende al di sotto del limite, mentre le operazioni già avviate richiedono comunque tempo per concludersi.
Code e salvaguardia residua
Databricks afferma che le code con capacità limitata e la pianificazione equa aiutano ad assorbire i picchi e a condividere la capacità. Durante un rallentamento, i clienti possono dover attendere più a lungo per l’avvio, se le richieste accettate si accumulano in coda.
L’azienda afferma che i limiti di concorrenza non possono riparare una dipendenza non disponibile, anche se possono limitare la pressione aggiuntiva durante il ripristino. Rimane un limite massimo fisso alla frequenza delle richieste API, come salvaguardia contro un traffico in ingresso eccezionalmente elevato.
Fonte
Aziende in questa notizia
Notizie correlate
- Databricks prepara un agente Genie sempre attivo per il lavoro aziendale
- Databricks presenta in anteprima la pubblicazione delle viste metriche su Power BI
- AWS rende AgentCore V2 basato su snapshot l’impostazione predefinita per i nuovi runtime in alcune regioni selezionate
- CoreWeave cita uno studio che mostra costi cloud fino al 65% inferiori per GB200 NVL72
- CoreWeave prevede circa 9 miliardi di dollari in anticipi e depositi dei clienti