UD4D — Pomáháme měnit data v užitečné informace

Jednotná platforma pro observabilitu dat napříč globálními datovými divizemi

Vybudovali jsme modulární cloudovou platformu pro observabilitu dat na AWS, která centralizuje metadata a monitoring napříč datovými divizemi.

Kontaktujte nás Stáhnout PDF
Jednotná platforma pro observabilitu dat napříč globálními datovými divizemi

O klientovi

Globální biofarmaceutická společnost působící napříč několika divizemi.

Výzva

Klient potřeboval sjednotit správu roztříštěného datového ekosystému, získat kontrolu nad rostoucími provozními náklady a chránit integritu dat napříč jednotlivými divizemi.

  • Chyběl centrální pohled na stav, kvalitu a náklady analytických aktiv
  • Vývoj samostatných monitorovacích řešení v jednotlivých divizích by podle odhadů znamenal trojnásobné náklady ve srovnání s jednou společnou platformou
  • Absence proaktivní detekce anomálií zvyšovala riziko chybných obchodních rozhodnutí
  • Stovky vlastníků projektů neměly automatizovaný způsob sledování spotřeby zdrojů a čerpání rozpočtu

Řešení

UD4D navrhlo modulární cloudovou platformu pro observabilitu dat na AWS, která centralizuje metadata a automatizuje monitoring napříč celým datovým prostředím.

  • Integrace metadat napříč globálními pracovními prostředími Databricks, sdílenou podnikovou oblastí (Enterprise Shared Area – ESA) a programem GPTeal (program generativní AI), včetně definice a ingestu klíčových metadat
  • Revidovali a optimalizovali jsme datové modely v Amazon Redshift pro výkonnou analytiku v Power BI a ThoughtSpot
  • Nad zpracovanými daty pro observabilitu jsme vytvořili federační vrstvu Trino, která umožňuje dotazování napříč různými zdroji
  • Vytvořili jsme 4 dashboardy v Grafaně pro monitoring Databricks a automatické denní e-mailové přehledy využití Amazon Redshift
  • Pomocí AWS IAM a jednotného přihlašování SSO jsme zajistili detailní řízení přístupu, oddělení dat a zabezpečení podle jednotlivých pracovních prostředí

Dopad na byznys

  • 50%

    rychlejší řešení incidentů

    Doba potřebná k řešení datových a pipeline incidentů se snížila na polovinu.

  • 3x

    nižší náklady na vývoj

    Konsolidace monitoringu do jedné platformy snížila odhadované náklady na třetinu oproti vývoji samostatných řešení v jednotlivých divizích.

  • 3

    proaktivní FinOps alerty

    Automatické alerty upozorňují na nárůst nákladů nad 20 % a anomálie využití hardwaru nad 80 % nebo pod 10 %.

  • 2 min

    načtení dashboardů

    Responzivní dashboardy se načtou do 2 minut a filtry se obnoví do 1 minuty.

Časté dotazy

Jakému problému klient čelil?

Roztříštěnému datovému ekosystému bez centrálního pohledu na stav, kvalitu a náklady analytických aktiv, rostoucím nákladům a absenci proaktivní detekce anomálií.

Co UD4D vybudovalo?

Modulární cloudovou platformu pro observabilitu dat na AWS, která centralizuje metadata a automatizuje monitoring napříč datovým prostředím, s federační vrstvou Trino pro dotazování napříč různými zdroji a dashboardy v Grafaně.

Jaké technologie byly použity?

AWS (včetně IAM a SSO), Databricks, Amazon Redshift, Trino, Apache Airflow, Grafana, Collibra, Power BI a ThoughtSpot.

Jaké byly výsledky?

Řešení datových incidentů se zrychlilo o 50 %, náklady na vývoj byly zhruba 3× nižší oproti vývoji samostatných řešení v jednotlivých divizích, proaktivní FinOps alerty hlásí anomálie nákladů a využití a dashboardy se načtou do dvou minut.

Související případové studie