Zum Inhalt springen
AI.info

The Pulse

Databricks nimmt Genie ZeroOps Pipeline-Agent in öffentliche Beta auf

Databricks hat seinen Genie-ZeroOps-Agenten zur Untersuchung von Problemen in Datenpipelines für die öffentliche Beta freigeschaltet. Der Agent kann Korrekturen vorschlagen und Pull-Requests vorbereiten, Änderungen erfordern jedoch die Zustimmung eines Menschen.

Databricks nimmt Genie ZeroOps Pipeline-Agent in öffentliche Beta auf

Databricks-Kunden können Genie ZeroOps jetzt in der öffentlichen Beta aktivieren, um Probleme in Datenpipelines zu untersuchen und vorgeschlagene Korrekturen zur Prüfung vorzubereiten. Workspace-Administratoren können den Agenten über die Seite „Previews“ einschalten, teilte das Unternehmen in einem Blogbeitrag vom 19. November mit.

Das Unternehmen stellte den Agenten im Juni vor und testete ihn in einer privaten Vorschau mit Hunderten Kunden. Während dieser Vorschau beobachtete ZeroOps nach Angaben von Databricks mehr als 80.000 reale Probleme bei Kunden in Hunderten von Unternehmen.

Von der Erkennung bis zum Korrekturvorschlag

Der Agent überwacht Jobs, Pipelines und Tabellen auf Fehler. Databricks zufolge kann er auch weniger sichtbare Datenqualitätsprobleme erkennen, etwa ungewöhnlich spät eintreffende Tabellenaktualisierungen oder Zeilenzahlen, die unter den erwarteten Bereich fallen.

Bei einer Untersuchung sammelt ZeroOps Protokolle, Quellcode, Tabellenmetadaten und Lineage-Daten und führt SQL-Abfragen aus, um Ursachen zu ermitteln und Korrekturen zu empfehlen. Vorgeschlagene Korrekturen lassen sich mit Unit-Tests und Probeläufen in einer Sandbox testen. Bei Git-basierten Jobs kann der Agent einen Pull-Request mit einer Codekorrektur und ausgefüllten Details erstellen.

Das Unternehmen betont, dass ZeroOps Code oder Daten nicht ohne ausdrückliche Zustimmung ändert. Der Agent kann eine vorgeschlagene Korrektur für einen Pull-Request in einen neuen Branch übertragen, doch bevor produktiver Code oder Daten geändert werden, prüft ein Mensch sie.

Funktionen für Teams

Databricks zufolge erforderte mehr als die Hälfte der in der Vorschau beobachteten Probleme organisationsspezifisches Wissen, um sie korrekt zu beurteilen, einzustufen und zu beheben. Die Beta umfasst gemeinsame Posteingänge, Benachrichtigungen, benutzerdefinierte Agentenanweisungen und die Erstellung von Pull-Requests mit einem Klick.

Nutzer können einen Posteingang gemeinsam verwenden, sodass Teammitglieder dieselben Vorfälle sehen. Benutzerdefinierte Anweisungen können bekannte unzuverlässige Quellen, bevorzugte Korrekturen oder Namenskonventionen enthalten und außerdem unerwünschte Benachrichtigungen herausfiltern. Eine Erkenntnis kann alternativ als „kein Problem“ markiert werden.

Benachrichtigungen können mit einer Zusammenfassung des Problems und der empfohlenen Korrektur an Slack, Teams oder PagerDuty gesendet werden. Databricks zufolge beachtet der Agent die bestehenden Unity-Catalog-Berechtigungen und entfernt personenbezogene Daten, bevor eine Benachrichtigung Databricks verlässt.

Datenzugriff

ZeroOps liest Protokolle zu ausgeführten Jobs, Quellcode, Metadaten vorgelagerter Tabellen und Stichproben aus, wobei die Unity-Catalog-Berechtigungen berücksichtigt werden. Der Agent hat außerdem Zugriff auf den Ausführungsverlauf, Lineage-Daten, den Delta-Verlauf und Signale zur Überwachung der Datenqualität.

Das Unternehmen teilt mit, dass Modellaufrufe in der Region des Workspace verbleiben und der Modellanbieter weder Prompts noch Antworten speichert. Der Agent verwendet von Databricks gehostete Modelle.

Quellen

  1. Originalquelle · Blogbeitrag Databricks databricks.com

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel