Vai al contenuto
AI.info

The Pulse

Databricks porta in beta pubblica l’agente per pipeline Genie ZeroOps

Databricks ha aperto alla beta pubblica il suo agente Genie ZeroOps, che indaga sui problemi delle pipeline di dati. L’agente può proporre correzioni e preparare pull request, ma le modifiche richiedono l’approvazione di una persona.

Databricks porta in beta pubblica l’agente per pipeline Genie ZeroOps

I clienti Databricks possono ora attivare Genie ZeroOps in beta pubblica per indagare sui problemi delle pipeline di dati e preparare correzioni da sottoporre a revisione. Gli amministratori dei workspace possono attivare l’agente dalla pagina Previews, ha dichiarato l’azienda in un post sul blog del 19 novembre.

L’azienda ha presentato l’agente a giugno e lo ha testato con centinaia di clienti in una preview privata. Durante quella fase, ZeroOps ha rilevato oltre 80.000 problemi reali dei clienti in centinaia di aziende, secondo Databricks.

Dal rilevamento alla correzione proposta

L’agente monitora job, pipeline e tabelle per rilevare errori. Databricks afferma che può anche individuare problemi di qualità dei dati meno evidenti, come aggiornamenti delle tabelle che arrivano insolitamente in ritardo o conteggi di righe che scendono al di sotto dell’intervallo previsto.

Per un’indagine, ZeroOps raccoglie log, codice sorgente, metadati delle tabelle e lineage, ed esegue query SQL per individuare le cause e consigliare correzioni. Le correzioni proposte possono essere testate con test unitari ed esecuzioni a secco in una sandbox. Per i job collegati a Git, può creare una pull request con una correzione del codice e i dettagli già compilati.

L’azienda afferma che ZeroOps non modifica codice o dati senza approvazione diretta. Può inviare una correzione proposta a un nuovo branch per una pull request, ma una persona la esamina prima che vengano modificati il codice o i dati in produzione.

Funzionalità per i team

Databricks afferma che oltre la metà dei problemi rilevati durante la preview richiedeva conoscenze specifiche dell’organizzazione per essere sottoposta correttamente a triage, classificata e risolta. La beta include caselle di posta condivise, notifiche, istruzioni personalizzate per l’agente e la creazione di pull request con un clic.

Gli utenti possono condividere una casella di posta, così che i membri del team vedano gli stessi incidenti. Le istruzioni personalizzate possono includere fonti note per essere inaffidabili, correzioni preferite o convenzioni di denominazione, e possono anche filtrare le notifiche indesiderate. In alternativa, un insight può essere contrassegnato come non costituente un problema.

Gli avvisi possono essere inviati a Slack, Teams o PagerDuty con una sintesi del problema e la correzione consigliata. Databricks afferma che l’agente rispetta le autorizzazioni esistenti di Unity Catalog e oscura le informazioni personali identificabili prima che una notifica esca da Databricks.

Accesso ai dati

ZeroOps legge i log delle esecuzioni, il codice sorgente, i metadati delle tabelle upstream e i campioni, rispettando le autorizzazioni di Unity Catalog. Ha inoltre accesso alla cronologia delle esecuzioni, al lineage, alla cronologia di Delta e ai segnali di monitoraggio della qualità dei dati.

L’azienda afferma che le chiamate ai modelli restano nella regione del workspace e che il fornitore del modello non conserva prompt o risposte. L’agente usa modelli ospitati da Databricks.

Fonti

  1. Fonte originale · Post del blog Databricks databricks.com

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli