The Pulse
Databricks estende Astra a tutti gli ingegneri
Databricks ha esteso Astra a circa 3.500 ingegneri dopo un progetto pilota con circa 200 utenti, usando controlli di budget per orientare la scelta dei modelli e la spesa.
AI.info Team ·
Databricks estende Astra a tutti gli ingegneri
Databricks ha esteso Astra a tutti gli ingegneri dell’azienda, raggiungendo circa 3.500 utenti dopo aver testato il modello con circa 200 persone. Patrick Wendell ha detto che il progetto pilota è servito a raccogliere indicazioni sia sulla qualità sia sui costi.
«Oggi abbiamo esteso Astra a tutti gli ingegneri di Databricks (N=~3500).»
Patrick Wendell, cofondatore di Databricks e vicepresidente dell’ingegneria
Wendell ha detto che Astra ha superato i precedenti modelli di fascia più alta di Databricks, tra cui Opus 5 e Sol 5.6, nelle attività estremamente complesse. Ha sottolineato che la differenza era particolarmente evidente nel lavoro di progettazione di sistemi ad alto livello e nelle attività di lungo respiro.
Il vantaggio non era costante in tutte le attività di programmazione. Wendell ha detto che non era chiaro se Astra migliorasse in modo significativo le attività di programmazione di complessità media e bassa rispetto ai modelli precedenti. Databricks sospetta che queste attività siano per lo più sature, ossia che i modelli esistenti siano già in grado di svolgerle efficacemente.
La spesa è aumentata tra gli utenti di Astra
Gli ingegneri a cui è stato dato accesso ad Astra hanno aumentato la spesa complessiva per la programmazione di circa il 60% rispetto al valore di riferimento. La cifra descrive i costi legati all’uso di strumenti di programmazione per quel gruppo, non il numero di dipendenti né il tempo dedicato all’ingegneria.
Unity Gateway stabilisce un limite di budget
Databricks usa Unity Gateway per condurre esperimenti per coorti con i nuovi modelli. L’azienda assegna agli ingegneri un sotto-budget specifico per Astra, incoraggiandoli a usare il modello in modo selettivo per le attività complesse e a ricorrere a modelli meno costosi per il lavoro quotidiano.
Gli ingegneri possono combinare strumenti e modelli diversi entro il budget complessivo assegnato. Wendell ha detto che Databricks consente anche di aumentare i budget attraverso vari meccanismi; questi sono definiti in Unity Gateway e riesaminati regolarmente.
Questo sistema permette all’azienda di rendere Astra ampiamente disponibile senza farne la scelta predefinita per ogni richiesta di programmazione. Gli ingegneri possono usare il modello quando le sue capacità aggiuntive sono più utili e affidarsi a opzioni meno costose per le attività che i sistemi esistenti già gestiscono efficacemente.
Un vantaggio circoscritto nelle attività di ingegneria più difficili
I risultati di Databricks indicano che Astra supera le precedenti opzioni di fascia più alta dell’azienda nelle attività che riguardano la progettazione di sistemi e il lavoro di lungo respiro. Questi incarichi possono richiedere a un ingegnere o a un agente di programmazione di comprendere un ampio repository, valutare approcci architetturali alternativi, modificare più componenti e verificare che funzionino insieme.
Il risultato non dimostra che Astra sia migliore per ogni flusso di lavoro di ingegneria. Indica una conclusione più circoscritta: il vantaggio del modello è più evidente quando un’attività è abbastanza complessa da rendere importanti il ragionamento prolungato e il lavoro continuativo.
Per lo sviluppo di routine, la valutazione dell’azienda ha rilevato differenze meno significative tra Astra e i modelli precedenti. Per Databricks si pone quindi una questione di allocazione dei costi tanto quanto di scelta del modello: come riservare il sistema più costoso alle attività che ne traggono beneficio, mantenendo al contempo la programmazione ordinaria entro un budget più ampio.
Cosa mostra il lancio
La distribuzione di Databricks è un ampio test interno di Astra su scala di team di ingegneria. L’azienda è passata da un progetto pilota con circa 200 utenti all’accesso per circa 3.500 ingegneri, poi ha usato controlli di budget per incoraggiare l’impiego di modelli diversi per tipi di attività diversi.
Il risultato riportato è articolato, ma preciso. Astra ha superato Opus 5 e Sol 5.6 nelle attività estremamente complesse, non ha mostrato chiari miglioramenti significativi nella programmazione di complessità media e bassa ed è stato associato a un aumento della spesa complessiva per la programmazione di circa il 60% tra gli ingegneri che hanno avuto accesso ad Astra, rispetto al valore di riferimento.
Wendell ha inoltre osservato che Databricks non dispone di confronti solidi tra Astra e Fable, perché Fable non è ancora stato distribuito su larga scala a causa delle politiche di conservazione dei dati.