Ir para o conteúdo
AI.info

The Pulse

Databricks lança agente de pipeline Genie ZeroOps em beta pública

A Databricks abriu para beta pública seu agente Genie ZeroOps, que investiga problemas em pipelines de dados. O agente pode propor correções e preparar pull requests, mas as mudanças exigem aprovação humana.

Databricks lança agente de pipeline Genie ZeroOps em beta pública

Os clientes da Databricks já podem habilitar o Genie ZeroOps em beta pública para investigar problemas em pipelines de dados e preparar propostas de correção para revisão. Administradores de workspace podem ativar o agente na página Previews, informou a empresa em uma publicação no blog em 19 de novembro.

A empresa apresentou o agente em junho e o testou com centenas de clientes em uma prévia privada. Durante esse período, o ZeroOps observou mais de 80.000 problemas reais de clientes em centenas de empresas, segundo a Databricks.

Da detecção à proposta de correção

O agente monitora jobs, pipelines e tabelas em busca de falhas. Segundo a Databricks, ele também pode identificar problemas de qualidade dos dados menos visíveis, como atualizações de tabelas que chegam com atraso incomum ou contagens de linhas abaixo do intervalo esperado.

Durante uma investigação, o ZeroOps reúne logs, código-fonte, metadados de tabelas e linhagem, além de executar consultas SQL para identificar causas e recomendar correções. As propostas de correção podem ser testadas com testes unitários e dry runs em um ambiente isolado. Em jobs vinculados ao Git, ele pode criar um pull request com uma correção de código e os detalhes preenchidos.

A empresa afirma que o ZeroOps não altera código nem dados sem aprovação direta. Ele pode enviar uma proposta de correção para uma nova branch para abrir um pull request, mas uma pessoa a revisa antes que o código ou os dados de produção sejam alterados.

Recursos para equipes

A Databricks afirma que mais da metade dos problemas observados na prévia exigia conhecimento específico da organização para serem classificados, priorizados e resolvidos adequadamente. A beta inclui caixas de entrada compartilhadas, notificações, instruções personalizadas para o agente e criação de pull requests com um clique.

Os usuários podem compartilhar uma caixa de entrada para que os membros da equipe vejam os mesmos incidentes. As instruções personalizadas podem incluir fontes conhecidas por não serem confiáveis, correções preferenciais ou convenções de nomenclatura, além de filtrar notificações indesejadas. Como alternativa, um insight pode ser marcado como não sendo um problema.

Os alertas podem ser enviados ao Slack, Teams ou PagerDuty com um resumo do problema e a correção recomendada. A Databricks afirma que o agente respeita as permissões existentes do Unity Catalog e oculta informações de identificação pessoal antes que uma notificação saia da Databricks.

Acesso aos dados

O ZeroOps lê logs de execução, código-fonte, metadados de tabelas upstream e amostras, respeitando as permissões do Unity Catalog. Ele também tem acesso ao histórico de execuções, à linhagem, ao histórico do Delta e a sinais de monitoramento da qualidade dos dados.

A empresa afirma que as chamadas ao modelo permanecem na região do workspace e que o provedor do modelo não retém prompts nem respostas. O agente usa modelos hospedados pela Databricks.

Fontes

  1. Fonte original · Post de blog Databricks databricks.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos