Přejít k obsahu

Úvodní stránka/Transformace dat a ETL

05 / Transformace dat a ETL

Transformovat data.
Sjednoťte formáty.

Vytvořte opakovatelné transformace dat a ETL pipeline. Data se čtou z podporovaných zdrojů, přiřazují cílovému modelu, ověřují a načítají do požadovaného systému.

Probrat projektZobrazit rozsah projektu
ETLJSON / XML / CSVValidace
INTEGRAČNÍ SCHÉMA / PŘÍKLADSOURCE / TRANSFORM / TARGET
SOURCE / JSON

Různé formáty.

{
  "customer_id": "001042",
  "country": "at",
  "total": "21,90"
}
MAPPING / NORMALIZACE
TRANSFORM / PRAVIDLA

customer_id→externalId:string
country→uppercase()
total→decimal(de-AT)
VALIDACE / CÍLOVÉ SCHÉMA
TARGET / JSON

Ověřené datové typy.

{
  "externalId": "001042",
  "countryCode": "AT",
  "total": 21.9
}

Počáteční nuly zůstávají zachovány. Čísla a kódy odpovídají cílovému schématu.

Výchozí situace

Formát je známý. Význam často ne.

Dva CSV soubory mohou stejné pole popisovat různě. Data jsou nejednoznačná, desetinné oddělovače závisí na zemi a počáteční nuly v produktovém ID jsou zásadní. Definujeme význam polí a dokumentujeme jejich převod.

Oblasti použití

Převod formátů do společného modelu.

Automatizace importů a exportů

Nahraďte opakované ruční konverze datovou pipeline pro CSV, XML, JSON nebo podporované databázové výpisy.

Reporting a konsolidace

Převeďte data z více systémů do jednotného reportingového modelu s dokumentovaným původem a pravidly aktualizace.

Mapping pro konkrétního partnera

Převeďte interní záznamy do schématu dodavatele, marketplace platformy nebo jiné platformy. Kontrola probíhá před doručením.

Rozsah projektu

Mapping.
Validace. Cílový kontrakt.

Rozsah se řídí vašimi systémy a požadovaným výsledkem. Tyto body s vámi dohodneme.

Chybná data potřebují viditelné řešení.

Neplatné záznamy se podle dohodnutých pravidel oddělují, opravují nebo odmítají. Chybějící údaje se nedoplňují potichu. Nejasnosti zůstávají rozpoznatelné a lze je odborně vyjasnit.

  • Analýza zdrojů a verzované cílové schéma
  • Mapping datových typů, ID, dat, jednotek a národních formátů
  • Kontrola povinných polí a pravidla odmítnutých záznamů
  • Opakovatelné kroky extrakce, transformace a načítání
  • Protokoly běhů a dohledatelný původ dat
  • Reprezentativní testovací data a akceptační kritéria pro pozdější změny

Rozsah služeb a odpovědnosti dohodneme pro konkrétní projekt. Postup: akceptace a provoz

Technické otázky

Datové typy a pravidla mappingu.

Migrace datSynchronizace dat
Jak se ETL liší od migrace dat?
ETL označuje extrakci, transformaci a načítání a může probíhat pravidelně. Migrace převádí data do nového systému, obvykle s přechodem. K tomu lze použít ETL pipeline.
Můžete převádět CSV, XML a JSON?
Ano, pokud je definováno zdrojové a cílové schéma. Rozhodující je zachovat význam, datové typy a vztahy. Samotná přípona souboru neurčuje úplné pravidlo konverze.
Jak se řeší neplatné záznamy?
Definujeme validační pravidla a postup pro výjimky. Odmítnuté záznamy zůstávají viditelné s dostatečným kontextem pro opravu. V projektu dohodneme, zda chyba zastaví celý běh, nebo se řeší samostatně.
Lze mapping později změnit?
Mapping se verzuje a ověřuje na reprezentativních testovacích datech. Změny tak lze před zveřejněním validovat vůči stávajícímu cílovému schématu.

Vaše další propojení

Co mají vaše systémy
společně zajistit?

Vy přinášíte zadání. My vyjasníme propojení.

Probrat projekt

Konkrétní integrační úlohy

Odborná témata z této oblasti.

Datové procesy

Automatizovat import CSV

Soubor přichází každý den. Někdo opraví sloupce, nahraje jej a následně kontroluje chybové zprávy. DataSource z této opakované ruční činnosti vytvoří dokumentovaný import s jasnými pravidly pro neúplná a chybná data.

Datové procesy

Transformace dat JSON / XML

Data jsou technicky čitelná, a přesto odmítaná. Názvy polí, typy nebo struktury neodpovídají cílové aplikaci. Vytváříme dohledatelný mapping, který řeší i prázdné hodnoty, zvláštní případy a změny zdrojového formátu.

Datové procesy

Automatizovat procesy produktových dat

ERP dodává kmenová data, PIM texty a dodavatel technické parametry. Ruční seznamy tyto informace propojují jen dočasně. Vytvoříme definovaný datový tok od autoritativního pole po ověřený export pro daný kanál.