Integrace dat z firemních systémů

Každý systém mluví jinak: jiný formát, jiné názvy pro totéž, jiná struktura. Mapování do jednoho modelu je většina práce – a bez něj se nedá postavit nic dalšího.

Co když zdroj nemá API?

Řešíme i exporty, databázové dumpy, přílohy e-mailů a v krajním případě čtení z webu nebo z obrazu – třeba z fotky měřidla, obrazovky nebo naskenovaného dokumentu, což dnes jde rozumně spolehlivě. Důležitá je stabilita a legálnost přístupu, ne jeho způsob.

Umíte data číst přímo ze strojů?

Pracujeme s daty, která už někde čitelná jsou – v databázi, exportu nebo API systému, který stroje obsluhuje. Napojení přímo na řízení strojů je práce pro dodavatele stroje nebo jeho integrátora; s ním se domluvíme na předávání dat.

Párujeme pravidly i porovnáním podobnosti. Hraniční případy necháváme potvrdit člověkem, takže vám nesloučíme dva zákazníky do jednoho naslepo.

Export dostane nový sloupec, API změní strukturu, web přestane odpovídat. Validace na vstupu i výstupu to zachytí dřív, než se rozbije výstup, na který se někdo spoléhá.

Ke každému údaji vedeme, odkud je, kdy se načetl a jak se počítal. Bez toho datům nikdo ve firmě nebude věřit – a právem.

Tohle je nejčastější důvod, proč se do zpracování vůbec pouštíme. Výsledek dostanete jako API, export do dalších systémů nebo přehledy, které se generují samy.

Musíme kvůli tomu měnit systémy?

Ne. Systémy zůstávají, jak jsou, data z nich bereme tam, kde už jsou čitelná. Když budete chtít i nástroj, ve kterém se pracuje – evidenci, schvalování nebo formuláře –, je to informační systém na míru a na sjednocená data ho napojíme.

Kdo to u nás má mít na starosti?

Stačí jeden člověk, který ví, odkud data berete, a jeden, kdo rozhodne, co z nich chce vidět. Technickou část, jednání s dodavateli systémů o přístupech i provoz zajistíme my.

Když se pravidlo změní, pustíme historii znovu – bez ručního dohledávání. Stavíme na prověřeném open source, ne na černé skříňce.

Jaké technologie používáte?

PostgreSQL, Node.js, Python, Elasticsearch a Redis. Plánování běhů podle prostředí – od cronu po Airflow.

Bez nich model sebevědomě hádá a vyhledávání vrací tři verze téhož. Proto bývá zpracování dat první krok před integrací AI.

Půjde se pak na data ptát běžnou větou?

Ano. Nad sjednocenými daty postavíme asistenta, který odpoví s odkazem na zdroj, nebo vyhledávání, které najde i to, co neumíte přesně pojmenovat. Je to nejčastější pokračování.

1. 1
   Analýza zdrojů Vybereme jednu otázku, na kterou dnes nikdo nemá rychlou odpověď – třeba přehled, který se skládá ručně – a projdeme zdroje, ze kterých ji poskládáme. Z toho vyjde datový model, rozsah a cena.
2. 2
   Pipeline a kontroly Sběr, čištění, párování a validace – automaticky, opakovatelně a se záznamem o každém běhu.
3. 3
   Provoz a rozvoj Monitoring běhů, hlášení odchylek a přidávání dalších zdrojů nebo výstupů podle potřeby.

Na první otázce a prvním výstupu je v řádu týdnů vidět, jak se s daty pracuje, a vy rozhodnete, jestli pokračovat. Další zdroje se pak oceňují podle skutečnosti, ne podle odhadu.

Zpracování, které běží každý den, potřebuje někoho, kdo ho hlídá. Můžeme to být my – postup i pravidla jsou ale popsané a běží u vás.