2025
Databricks platformos stebimumas ir automatizavimas
Kliento Databricks platformos stebėsena su Prometheus ir Grafana bei platformos užduočių automatizavimas su GitHub Actions – kaip isolutions inžinierius.
DatabricksGrafanaPrometheusGitHub ActionsObservabilityCI/CD
Problema
Kaip isolutions inžinierius šiuo metu dirbu platformų ir duomenų inžinieriumi kliento Databricks platformoje. Bendra duomenų platforma turi būti stebima, o jos įprastinės operacijos – pakartojamos. Kitaip komanda laiką leidžia rankiniams patikrinimams ir gaisrų gesinimui.
Mano indėlis
- Platformos stebimumas (observability): Prometheus metrikoms ir Grafana skydeliams.
- Pasikartojančios platformos užduotys automatizuotos GitHub Actions darbo eigomis, užuot jas vykdžius rankiniu būdu.
- Databricks kaip pagrindinė duomenų inžinerijos aplinka.