UD4D — Pomáháme měnit data v užitečné informace

Jednotná cloudová platforma pro finanční data a analytiku se škálovatelnou architekturou

Navrhli jsme modulární a škálovatelnou cloudovou platformu na AWS, která z jediného případu použití vyrostla v jeden řízený základ pro finanční analytiku.

Kontaktujte nás Stáhnout PDF
Jednotná cloudová platforma pro finanční data a analytiku se škálovatelnou architekturou

O klientovi

Globální farmaceutický výrobce působící napříč několika obchodními divizemi a mezinárodními trhy.

Výzva

Finanční divize klienta potřebovala vybudovat škálovatelnou podnikovou datovou platformu, která by podporovala finanční analytiku, komplexní simulace i budoucí datově řízené iniciativy napříč několika finančními oblastmi.

  • Konečný počet datových zdrojů, navazujících aplikací a budoucích projektů nebyl na začátku znám
  • Architektura musela od počátku počítat s rozšiřováním nad rámec prvního prioritního projektu (EPIC), zaměřeného na základní finanční kmenová data, a vytvořit prostor pro další analytické projekty a aplikace
  • Různorodé finanční systémy se lišily datovou strukturou i frekvencí aktualizací, což komplikovalo jejich integraci
  • Citlivá finanční data vyžadovala bezpečné zpracování, ukládání i zpřístupňování
  • Jednotlivé analytické nástroje a projektové týmy potřebovaly různé způsoby přístupu k datům a jejich využití
  • Potřeba standardizace načítání dat, orchestrace a procesů řízení kvality dat napříč celou platformou

Řešení

UD4D pomohlo navrhnout škálovatelnou cloudovou architekturu a současně vyřešit konkrétní potřeby integrace a využití dat napříč jednotlivými projekty.

  • Navrhli jsme modulární architekturu na AWS podporující načítání, zpracování, ukládání a zpřístupňování dat
  • Definovali jsme integrační vzory a způsoby doplňkového načítání a využití dat přizpůsobené potřebám jednotlivých finančních projektů
  • Navrhli jsme bezpečnostní modely pokrývající celý životní cyklus dat, včetně řízení přístupu podle rolí a oddělení řízeného a self-service prostředí
  • Zavedli jsme vzory orchestrace využívající Airflow a Matillion, včetně správy závislostí a řízení běhů napříč jednotlivými prostředími
  • Navrhli jsme strukturu datových vrstev v Amazon Redshift, která podporuje řízenou i self-service analytiku
  • Zajistili jsme soulad se standardy data governance a kvality dat prostřednictvím nástrojů Collibra a Collibra Data Quality
  • Podpořili jsme datové modelování v Dataiku a reporting v Power BI

Dopad na byznys

  • 19

    datových zdrojů sjednocených na jedné platformě

    Architektura se z původního způsobu využití EPIC rozrostla na platformu, která načítá data z 19 finančních zdrojů a podporuje 8 analytických aplikací.

  • 4

    úrovně analytiky

    Sjednocená vrstva finančních dat podporuje deskriptivní, diagnostickou, prediktivní i preskriptivní analytiku nad konzistentními daty.

  • 2

    provozní modely na jedné platformě

    Citlivá finanční data jsou bezpečně zpracovávána v souladu s pravidly data governance, a to jak v řízeném, tak v self-service prostředí.

  • 3

    standardizované klíčové procesy

    Standardizované načítání dat, orchestrace a řízení kvality dat urychlují zapojování nových finančních projektů a zkracují dobu jejich realizace napříč jednotlivými oblastmi.

Časté dotazy

Co finanční divize klienta potřebovala?

Škálovatelnou podnikovou datovou platformu schopnou podpořit finanční analytiku, komplexní simulace a budoucí datově řízené iniciativy napříč více finančními doménami.

Jak je platforma navržena?

Jako modulární architektura na AWS (S3, Redshift, Glue, IAM) pokrývající načítání, zpracování, ukládání a konzumaci dat. Orchestrace běží na Airflow a Matillion, načítání dat na frameworku DIFW, modelování v Dataiku a reporting v Power BI.

Jak podporuje řízenou i self-service analytiku?

Datová vrstva v Redshiftu spolu s řízením přístupu na základě rolí odděluje řízené a self-service prostředí, takže citlivá finanční data zůstávají pod governance, zatímco projektové týmy mají flexibilní přístup. Governance a kvalita dat jsou zajištěny přes Collibra a Collibra Data Quality.

Co platforma přinesla?

Rozrostla se z původního use case EPIC na 19 datových zdrojů a 8 analytických aplikací na jedné platformě, umožnila čtyři úrovně analytiky (deskriptivní, diagnostickou, prediktivní, preskriptivní) a standardizovala načítání dat, orchestraci a procesy kvality dat.

Související případové studie