Datové procesy / 05
Automatizujte CSV importy. Řešte chyby cíleně.
Soubor přichází každý den. Někdo opraví sloupce, nahraje jej a následně kontroluje chybové zprávy. DataSource z této opakované ruční činnosti vytvoří dokumentovaný import s jasnými pravidly pro neúplná a chybná data.
Výchozí stav
Formát je jednoduchý. Datová pravidla často ne.
Dodavatel posílá produkty se středníkem jako oddělovačem a německou desetinnou čárkou. Čísla produktů obsahují počáteční nuly; popisy mohou obsahovat zalomení řádků. Zpracování jako jednoduchých textových řádků tato data poškodí.
Prověříme skutečný souborový kontrakt: encoding, uvozování, názvy sloupců, povinné hodnoty, datum a význam úplného souboru. Vstup může zajišťovat SFTP nebo chráněný upload.
Co zajišťuje DataSource
Příjem souborů. Příprava. Převzetí.
Příjem souborů
Spolehlivé rozpoznání hotových souborů, například po dohodnutém atomickém přejmenování nebo doprovodném markeru. Probíhající přenos neimportovat.
Příprava
Čtení CSV parserem, typově správná normalizace polí a kontrola obchodních klíčů. Srozumitelný výstup chyb s odkazem na soubor a řádek nebo záznam.
Převzetí
Staging, náhled a cílový import podle systému. Hash souboru, import ID a potvrzené záznamy zabraňují nechtěnému vícenásobnému převzetí.
Technický scénář / ilustrativní příklad
Zachovat počáteční nuly, normalizovat desetinné hodnoty.
Ilustrativní mapping platného řádku. Číslo produktu zůstává stringem. Neplatné ceny se nenastavují potichu na nulu, ale řeší jako opravitelná chyba.
Vzorová data a navržená pravidla. Konkrétní rozhraní a obchodní pravidla se prověří pro váš projekt.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Ošetření chyb, bezpečnost a provoz
Částečný import: ověření a provoz.
Částečný import
Předem rozhodnout, zda chybný řádek zastaví celý import. Závislé záznamy mohou vyžadovat společné schválení.
Opakování
Rozlišovat verzi souboru a klíč záznamu. Opravený soubor musí být zpracovatelný bez opětovného spuštění již převzatých operací.
Provoz
Sledovat očekávané termíny dodání, chybějící soubory a změněné sloupce. Přístupové údaje a citlivý obsah řádků nepatří do obecných chybových reportů.
Odborné otázky
Detaily důležité před implementací.
CSV · SFTP · Encoding · Mapping · Validace · Import
Lze stejně zpracovat Excelový soubor?
XLSX je jiný formát s vlastními pravidly typů a vzorců. Můžeme jej zohlednit jako samostatný vstup; nepřejmenuje se jednoduše na CSV.
Co se stane při nových sloupcích?
Souborový kontrakt určuje, zda se další sloupce tolerují. Chybějící povinné sloupce nebo změněný význam vedou k cílenému ověření.
Musí bezchybné řádky vždy čekat?
Záleží na obchodní konzistenci. U nezávislých produktů může být vhodný částečný import; u související objednávky případně ne.
Pro technické vyjasnění
Začít vaším konkrétním procesem.
Připravte anonymizovaný původní soubor, aktuální návod k importu, cílový systém a typické chybové zprávy. Zvlášť pomohou příklady s diakritikou, null hodnotami a počátečními nulami.
V prvním rozhovoru vyjasníme dostupné přístupy, odpovědnost za data a omezený první datový tok. Poté dohodneme rozsah, odpovědnosti a podmínky.
Pro začátek stačí anonymizované příklady. V prvním dotazu neposílejte hesla, tokeny ani produkční data s osobními údaji.
Související úlohy
Další propojení v kontextu.
Transformace dat JSON / XML
Data jsou technicky čitelná, a přesto odmítaná. Názvy polí, typy nebo struktury neodpovídají cílové aplikaci. Vytváříme dohledatelný mapping, který řeší i prázdné hodnoty, zvláštní případy a změny zdrojového formátu.
Automatizovat procesy produktových dat
ERP dodává kmenová data, PIM texty a dodavatel technické parametry. Ruční seznamy tyto informace propojují jen dočasně. Vytvoříme definovaný datový tok od autoritativního pole po ověřený export pro daný kanál.
Propojit SQL databáze
Reporting, portály nebo specializované aplikace potřebují data z jiné databáze. Navrhneme propojení, které zohlední přístupová oprávnění, konzistentní datové stavy a pravidla zúčastněných aplikací.