Observability und Automatisierung der Databricks-Plattform

Überwachung der Databricks-Plattform eines Kunden mit Prometheus und Grafana sowie Automatisierung von Plattformaufgaben mit GitHub Actions, als isolutions-Engineer.

Das Problem

Als isolutions-Engineer arbeite ich derzeit als Platform und Data Engineer an der Databricks-Plattform eines Kunden. Eine gemeinsam genutzte Datenplattform muss beobachtbar sein und ihre Routinebetriebsaufgaben müssen wiederholbar ablaufen. Sonst verbringt das Team seine Zeit mit manuellen Kontrollen und Feuerwehreinsätzen.

Mein Beitrag

Observability für die Plattform mit Prometheus für Metriken und Grafana für Dashboards.
Wiederkehrende Plattformaufgaben als GitHub-Actions-Workflows automatisiert statt manuell ausgeführt.
Databricks als zentrale Umgebung für das Data Engineering.