Služby / Zpracování dat
Data z desítek zdrojů,
jeden použitelný celek.
Sbíráme, čistíme a sjednocujeme data z navzájem nekompatibilních systémů – API, exporty, databáze i weby. Jako u Adol Monitoru, který takhle denně zpracovává nemovitosti, dražby, exekuce a insolvence.
zdroje
API, exporty, databáze i weby
sjednocení
jeden datový model místo deseti
kontrola
poznáme, když zdroj přestane dávat smysl
provoz
běží samo, hlídané monitoringem
Rozsah práce
Kde vám dokážeme pomoci
Stáhnout data je snadné. Práce je v tom, aby se dala porovnat a aby jim šlo věřit.
Deset zdrojů převedeme do jednoho datového modelu
Každý systém mluví jinak: jiný formát, jiné názvy pro totéž, jiná struktura. Mapování do jednoho modelu je většina práce – a bez něj se nedá postavit nic dalšího.
Tentýž subjekt poznáme i pod jiným ID a jiným zápisem adresy
Párování řešíme pravidly i porovnáním podobnosti. Hraniční případy necháváme potvrdit člověkem, takže vám nesloučíme dva zákazníky do jednoho naslepo.
Když zdroj začne dodávat nesmysly, dozvíte se to od nás
Export dostane nový sloupec, API změní strukturu, web přestane odpovídat. Kontroly to zachytí dřív, než se rozbije výstup, na který se někdo spoléhá.
Ke každému údaji doložíme, odkud je a jak se počítal
Původ, čas načtení i způsob výpočtu vedeme přímo u dat. Bez toho jim nikdo ve firmě nebude věřit – a právem.
Ruční přepisování mezi systémy nahradíme přenosem, který běží sám
Data putují mezi systémy naplánovaně a opakovatelně. Tohle je nejčastější důvod, proč se do zpracování vůbec pouštíme.
Miliony záznamů zpracujeme po částech a opakovatelně
Zpracování běží v dávkách se záznamem o každém běhu. Když se pravidlo změní, pustíme historii znovu – bez ručního dohledávání.
Průběh
Jak to zavádíme
Začínáme jedním zdrojem a jedním výstupem. Až funguje, přidávají se další.
Analýza zdrojů
Co je k dispozici, v jaké kvalitě a jak často se to mění. Z toho vyjde datový model, rozsah a cena.
Pipeline a kontroly
Sběr, čištění, párování a validace – automaticky, opakovatelně a se záznamem o každém běhu.
Provoz a rozvoj
Monitoring běhů, hlášení odchylek a přidávání dalších zdrojů nebo výstupů podle potřeby.
Proč my
Proč to dát nám
Zpracování dat je náš hlavní obor, ne vedlejší produkt. U části projektů běží každý den.
Naše referenceAdol Monitor u nás denně zpracovává nemovitosti, dražby, exekuce i insolvence z desítek zdrojů, které se navzájem nedomluvily. Poznáme proto, kde se data lámou: zdroj bez API, přílohy v e-mailu, dvakrát totéž pod jiným identifikátorem, změna struktury bez ohlášení.
Nezačínáme proto stavbou velké platformy, ale jedním zdrojem a jedním výstupem, na kterém je hned vidět, jestli se s daty dá pracovat. Postup i pravidla jsou popsané a běží u vás – PostgreSQL, Node.js, Python, Elasticsearch a Redis, tedy prověřený open source, ne černá skříňka.
Výstupy
Co vám zůstane v ruce
Data i celý postup jsou vaše – včetně popisu, jak se z původních zdrojů staly výsledné hodnoty.
Sjednocená databáze
jeden datový model, do kterého se mapují všechny zdroje
Automatické zpracování
naplánované běhy a možnost pustit historii znovu
Kontroly kvality
validace na vstupu i výstupu a hlášení odchylek
API pro vaše systémy
výstup jako API nebo export do dalších systémů
Přehledy a reporty
vizualizace a exporty, které se generují samy
Provoz se SLA
monitoring běhů, reakční doby a kapacita na další zdroje
Další služby
Dokážeme toho více
Sjednocená data málokdy zůstanou samy pro sebe. Tohle se k nim váže nejčastěji.
Všechny službyZařídíme, aby lidé našli i to, co neumí pojmenovat
Napojíme AI tam, kde vám reálně ubere práci
Zvládáme portály pro desetitisíce uživatelů denně, roky v kuse
Co když zdroj nemá API?
Řešíme i exporty, databázové dumpy, přílohy e-mailů a v krajním případě čtení z webu. Důležitá je stabilita a legálnost přístupu, ne jeho způsob.
Jak řešíte kvalitu dat?
Validacemi na vstupu i výstupu a hlášením odchylek. Když zdroj začne dodávat nesmysly, dozvíte se to od nás, ne od svého zákazníka.
Jaké technologie používáte?
PostgreSQL, Node.js, Python, Elasticsearch a Redis. Plánování běhů podle prostředí – od cronu po Airflow.
Půjde na těch datech postavit AI?
Ano a je to nejčastější pokračování. Sjednocená data jsou podmínka toho, aby model nebo vyhledávání dávaly smysl.
Vybrané reference
Projekty, na kterých zpracováváme data
Sběr z desítek zdrojů, čištění a sjednocení – u části projektů to běží každý den.
Všechny naše referenceVýběr klientů, ne úplný výčet. Uvedené ochranné známky jsou majetkem svých vlastníků.
Projdeme vaše zdroje dat
Napište nám, odkud data berete a co z nich potřebujete dostat.