Ir al contenido
AI.info

The Pulse

Databricks lanza en beta pública el agente Genie ZeroOps para canalizaciones

Databricks ha abierto al público la beta de su agente Genie ZeroOps, que investiga problemas en canalizaciones de datos. El agente puede proponer soluciones y preparar solicitudes de incorporación de cambios, pero los cambios requieren aprobación humana.

Databricks lanza en beta pública el agente Genie ZeroOps para canalizaciones

Los clientes de Databricks ya pueden activar Genie ZeroOps en beta pública para investigar problemas en canalizaciones de datos y preparar propuestas de solución para su revisión. Los administradores del espacio de trabajo pueden activar el agente desde la página Previews, informó la compañía en una publicación de blog del 19 de noviembre.

La compañía presentó el agente en junio y lo probó con cientos de clientes en una versión preliminar privada. Durante esa prueba, ZeroOps observó más de 80.000 problemas reales de clientes en cientos de empresas, según Databricks.

De la detección a una solución propuesta

El agente supervisa trabajos, canalizaciones y tablas para detectar fallos. Databricks afirma que también puede identificar problemas de calidad de los datos menos visibles, como actualizaciones de tablas que llegan con un retraso inusual o recuentos de filas que caen por debajo del rango esperado.

Para investigar, ZeroOps recopila registros, código fuente, metadatos de tablas y linaje, y ejecuta consultas SQL para identificar causas y recomendar soluciones. Las soluciones propuestas pueden probarse con pruebas unitarias y ejecuciones en seco en un entorno aislado. En el caso de los trabajos basados en Git, puede crear una solicitud de incorporación de cambios con una corrección de código y los detalles ya completados.

La compañía afirma que ZeroOps no modifica código ni datos sin aprobación directa. Puede enviar una solución propuesta a una nueva rama para crear una solicitud de incorporación de cambios, pero una persona la revisa antes de que se modifiquen el código o los datos de producción.

Funciones para equipos

Databricks afirma que más de la mitad de los problemas observados en la versión preliminar requerían conocimientos específicos de cada organización para clasificarlos, priorizarlos y resolverlos adecuadamente. La beta incluye bandejas de entrada compartidas, notificaciones, instrucciones personalizadas para el agente y la creación de solicitudes de incorporación de cambios con un solo clic.

Los usuarios pueden compartir una bandeja de entrada para que los miembros del equipo vean los mismos incidentes. Las instrucciones personalizadas pueden incluir fuentes que se sabe que no son fiables, soluciones preferidas o convenciones de nomenclatura, y también pueden filtrar las notificaciones no deseadas. Como alternativa, un hallazgo puede marcarse como no problemático.

Las alertas pueden enviarse a Slack, Teams o PagerDuty e incluir un resumen del problema y la solución recomendada. Databricks afirma que el agente respeta los permisos existentes de Unity Catalog y oculta la información de identificación personal antes de que una notificación salga de Databricks.

Acceso a los datos

ZeroOps lee registros de ejecuciones, código fuente, metadatos de tablas ascendentes y muestras, respetando los permisos de Unity Catalog. También tiene acceso al historial de ejecuciones, el linaje, el historial de Delta y las señales de supervisión de la calidad de los datos.

La compañía afirma que las llamadas al modelo se mantienen en la región del espacio de trabajo y que el proveedor del modelo no conserva los prompts ni las respuestas. El agente utiliza modelos alojados por Databricks.

Fuentes

  1. Fuente original · Entrada de blog Databricks databricks.com

Empresas en esta noticia

Noticias relacionadas

Explora

Más artículos