Datenintegration aus Unternehmenssystemen

Jedes System spricht anders: anderes Format, andere Namen für dasselbe, andere Struktur. Die Abbildung auf ein Modell ist der Großteil der Arbeit – und ohne sie lässt sich nichts Weiteres bauen.

Was, wenn eine Quelle keine API hat?

Wir verarbeiten auch Exporte, Datenbank-Dumps, E-Mail-Anhänge und im Extremfall das Auslesen von Websites oder Bildern – etwa vom Foto eines Messgeräts, eines Bildschirms oder eines gescannten Dokuments, was heute recht zuverlässig funktioniert. Entscheidend ist, dass der Zugriff stabil und legal ist, nicht auf welchem Weg er erfolgt.

Können Sie Daten direkt aus Maschinen auslesen?

Wir arbeiten mit Daten, die bereits irgendwo lesbar sind – in einer Datenbank, einem Export oder der API des Systems, das die Maschinen steuert. Die direkte Anbindung an die Maschinensteuerung ist Sache des Maschinenlieferanten oder seines Integrators; mit ihm vereinbaren wir die Übergabe der Daten.

Wir gleichen per Regeln und Ähnlichkeitsvergleich ab. Grenzfälle lassen wir von einem Menschen bestätigen, damit wir nicht blind zwei Kunden zu einem zusammenführen.

Ein Export bekommt eine neue Spalte, eine API ändert ihre Struktur, eine Website antwortet nicht mehr. Validierungen am Ein- und Ausgang erfassen das, bevor eine Ausgabe kaputtgeht, auf die sich jemand verlässt.

Zu jedem Wert führen wir, woher er stammt, wann er geladen und wie er berechnet wurde. Ohne das wird den Daten im Unternehmen niemand vertrauen – und das zu Recht.

Das ist der häufigste Grund, warum wir die Verarbeitung überhaupt angehen. Das Ergebnis erhalten Sie als API, als Export in weitere Systeme oder als Übersichten, die sich selbst erzeugen.

Müssen wir dafür unsere Systeme ändern?

Nein. Ihre Systeme bleiben, wie sie sind; wir nehmen die Daten dort, wo sie bereits lesbar sind. Wenn Sie auch ein Werkzeug wollen, in dem gearbeitet wird – Erfassung, Freigaben oder Formulare –, ist das ein maßgeschneidertes Informationssystem, und wir binden es an die vereinheitlichten Daten an.

Wer sollte das bei uns verantworten?

Es genügen eine Person, die weiß, woher Ihre Daten kommen, und eine, die entscheidet, was sie darin sehen will. Den technischen Teil, die Abstimmung mit den Systemanbietern über Zugänge und den Betrieb übernehmen wir.

Ändert sich eine Regel, verarbeiten wir die Historie neu – ohne manuelles Nachsuchen. Wir setzen auf bewährtes Open Source, nicht auf eine Blackbox.

Welche Technologien verwenden Sie?

PostgreSQL, Node.js, Python, Elasticsearch und Redis. Die Planung der Läufe richtet sich nach der Umgebung – von Cron bis Airflow.

Ohne sie rät das Modell selbstbewusst, und die Suche liefert drei Versionen desselben. Deshalb ist die Datenverarbeitung oft der erste Schritt vor einer KI-Integration.

Kann man die Daten dann in ganz normalen Sätzen befragen?

Ja. Auf den vereinheitlichten Daten bauen wir einen Assistenten, der mit Verweis auf die Quelle antwortet, oder eine Suche, die auch das findet, was Sie nicht genau benennen können. Das ist die häufigste Fortsetzung.

1. 1
   Analyse der Quellen Wir wählen eine Frage, auf die heute niemand schnell eine Antwort hat – etwa einen Bericht, der von Hand entsteht – und gehen die Quellen durch, aus denen sie sich beantworten lässt. Daraus ergeben sich Datenmodell, Umfang und Preis.
2. 2
   Pipeline und Kontrollen Erfassung, Bereinigung, Abgleich und Validierung – automatisch, wiederholbar und mit einem Protokoll jedes Laufs.
3. 3
   Betrieb und Weiterentwicklung Monitoring der Läufe, Meldung von Abweichungen und bei Bedarf weitere Quellen oder Ausgaben.

An der ersten Frage und der ersten Ausgabe sieht man innerhalb weniger Wochen, wie sich mit den Daten arbeiten lässt, und Sie entscheiden, ob es weitergeht. Weitere Quellen werden dann nach tatsächlicher Erfahrung bepreist, nicht nach einer Schätzung.

Eine Verarbeitung, die täglich läuft, braucht jemanden, der sie überwacht. Das können wir sein – Verfahren und Regeln sind aber beschrieben und laufen bei Ihnen.