Was ist Daten-Integration?

Die Daten-Integration ist der Prozess, bei dem Daten aus unterschiedlichen Quellen zusammengeführt werden, um Benutzern eine einheitliche Sicht zu bieten. Die Prämisse der Daten-Integration besteht darin, Daten freier verfügbar und einfacher von Systemen und Benutzern zu konsumieren und zu verarbeiten. Die richtige Daten-Integration kann die IT-Kosten senken, Ressourcen freigeben, die Data Quality verbessern und Innovationen fördern, ohne dass bestehende Anwendungen oder Datenstrukturen umfassend geändert werden müssen. Und obwohl IT-Organisationen sich immer integrieren mussten, war die Auszahlung dafür möglicherweise nie so groß wie derzeit.

Unternehmen mit ausgereiften Datenintegrationsfunktionen haben erhebliche Vorteile gegenüber ihrer Konkurrenz, darunter:

• Erhöhte betriebliche Effizienz durch Reduzierung der Notwendigkeit, Datensätze manuell zu transformieren und zu kombinieren
• Bessere Datenqualität durch automatisierte Datentransformationen, die Geschäftsregeln auf Daten anwenden
• Wertvollere Erkenntnisentwicklung durch eine ganzheitliche Sicht auf Daten, die einfacher analysiert werden können

Ein digitales Unternehmen basiert auf Daten und Algorithmen, die es verarbeiten, und es extrahiert maximale Wert aus seinen Informationswerten—von überall im gesamten Geschäftsökosystem und zu jeder Zeit, in der es benötigt wird. Innerhalb eines digitalen Unternehmens fließen Daten und damit verbundene Dienste ungehindert und dennoch sicher durch die IT-Landschaft. Die Daten-Integration ermöglicht einen vollständigen Überblick über alle Informationen, die durch eine Organisation fließen, und bereitet Ihre Daten für die Analyse vor.

Die Evolution der Daten-Integration

Umfang und Bedeutung der Daten-Integration haben sich völlig verändert. Heute erweitern wir die Geschäftsfähigkeiten, indem wir Standard-SaaS-Anwendungen nutzen und gleichzeitig weiterhin benutzerdefinierte Anwendungen entwickeln. Mit einem reichen Ökosystem von Partnern, die bereit sind, die Informationen einer Organisation zu nutzen, sind die Informationen über die Dienstleistungen einer Organisation, die Kunden ausgesetzt werden, jetzt genauso wichtig wie die Dienste selbst. Heute ist die Integration von SaaS-, Kunden- und Partneranwendungen sowie der darin enthaltenen Daten eine Voraussetzung. Heutzutage unterscheidet sich eine Organisation, indem sie Geschäftsfähigkeiten auf einzigartige Weise kombiniert. Zum Beispiel analysieren viele Unternehmen gespeicherte Daten und Daten in der Übertragung, verwenden ihre Ergebnisse, um Geschäftsregeln zu erstellen und diese Regeln dann anzuwenden, um noch schneller auf neue Daten zu reagieren. Typische Ziele für diese Art von Innovation sind die klebrigeren Benutzererfahrungen und ein verbesserter Geschäftsbetrieb.

Wie funktioniert die Daten-Integration?

Eine der größten Herausforderungen, denen Unternehmen gegenüberstehen, besteht darin, auf die Daten zuzugreifen und sie zu verstehen, die die Umgebung beschreiben, in der sie tätig sind. Jeden Tag erfassen Unternehmen immer mehr Daten in einer Vielzahl von Formaten aus einer größeren Anzahl von Datenquellen. Unternehmen benötigen eine Möglichkeit für Mitarbeiter, Benutzer und Kunden, um Wert aus diesen Daten zu erfassen. Das bedeutet, dass Unternehmen in der Lage sein müssen, relevante Daten überall dort zusammenzubringen, um die Berichterstattung von Organisationen und Geschäftsprozesse zu unterstützen.

Die erforderlichen Daten werden jedoch häufig auf Anwendungen, Datenbanken und andere Datenquellen verteilt, die lokal, in der Cloud, auf IoT-Geräten oder über Dritte bereitgestellt werden. Organisationen verwalten Daten nicht mehr einfach in einer Datenbank, sondern pflegen traditionelle Master- und Transaktionsdaten sowie neue Arten von strukturierten und unstrukturierten Daten über mehrere Quellen hinweg. Zum Beispiel könnte eine Organisation Daten in einer Flatfile haben oder auf Daten von einem Webdienst zugreifen möchten.

Der traditionelle Ansatz der Daten-Integration wird als Ansatz zur physischen Daten-Integration bezeichnet. Und das beinhaltet die physische Verschiebung von Daten von ihrem Quellsystem in einen Bereitstellungsbereich, in dem Bereinigung, Mapping und Transformation stattfinden, bevor die Daten physisch in ein Zielsystem verschoben werden, z. B. ein Data Warehouse oder einen Data Mart. Die andere Option ist der Datenvirtualisierungsansatz. Dieser Ansatz beinhaltet die Verwendung einer Virtualisierungsschicht zur Verbindung mit physischen Datenspeichern. Im Gegensatz zur physischen Daten-Integration beinhaltet die Datenvirtualisierung die Erstellung virtualisierter Ansichten der zugrunde liegenden physischen Umgebung, ohne dass die physische Datenverschiebung erforderlich ist.

Eine gängige Datenintegrationstechnik ist Extraktion, Transformation und Laden (ETL), bei der Daten physisch aus mehreren Quellsystemen extrahiert, in ein anderes Format umgewandelt und in einen zentralen Datenspeicher geladen werden.

Überlegungen zur Verbesserung der einfachen Integration

Der Wert, der durch die Implementierung der Datenintegrationstechnologie gewonnen wird, liegt in erster Linie in den Kosten, um Daten nicht mehr manuell integrieren zu müssen. Es gibt auch andere Vorteile, einschließlich der Reduzierung der Vermeidung von benutzerdefinierter Codierung für die Integration. Unternehmen, wann immer sie können, sollten ein von einem Anbieter bereitgestelltes Integrationstool verwenden, anstatt benutzerdefinierten Integrationscode zu schreiben. Gründe dafür sind a) verbesserte Data Quality b) optimale Leistung c) Zeitersparnis.

Unternehmen könnten einen wesentlich größeren Wert erzielen, indem sie ihren Roadmaps für die Integrationsreife die folgenden zusätzlichen Ziele hinzufügen:

Entwicklung optimieren

Wählen Sie eine Lösung, mit der Sie einen Katalog von Formaten und Teilprozessen für die Wiederverwendung erstellen können, insbesondere nicht funktionelle Prozesse wie Protokollierung, Wiederholungen usw. Die Möglichkeit, jede Integrationslogik im laufenden Betrieb zu testen, wird auch die Zeit für die Implementierung und Wartung dramatisch verkürzen.

Konfiguration

Datenintegrationsprozesse werden so konfiguriert, dass sie Anwendungen und Systeme verbinden. Diese Konfigurationen müssen jede Änderung sofort widerspiegeln, sicherstellen, dass die richtigen Systeme verwendet werden, und Änderungen in verschiedenen Umgebungen (Entwicklung, Test, Qualitätssicherung und Produktion) weitergeben. Die meisten Organisationen berichten, dass sie Konfigurationsparameter immer noch manuell in ihrer integrierten Entwicklungsumgebung (IDE) ändern, einem kostspieligen menschlichen Prozess, der auch eine Manipulation der Integrationslogik beinhalten kann. Die bessere Alternative, auf die Variablen in Skripten oder Bereitstellungsschnittstellen zuzugreifen und diese zu verwalten, ermöglicht vollautomatisierte Bereitstellungen, die die Projektdauer verkürzen.

Testen

Das Testen steht im Mittelpunkt der Entwicklung der Daten-Integration. Es überprüft die Datenintegrationstechnologie und Zielsysteme und sollte daher sofort ausgeführt werden, sobald der Entwickler Logik erstellt oder aktualisiert. Es ist jedoch klar, dass die meisten Unternehmen Prozesse bereitstellen müssen, bevor sie testen können, was zu Verzögerungen führt. Eine IDE, die sofortiges Debugging ermöglicht, verkürzt die Entwicklung von Integrationsprozessen dramatisch. Da bestimmte Datenintegrationsprozesse so kritisch sind, müssen sie außerdem in Umgebungen wie der Produktionsumgebung getestet werden, und Aktualisierungen an ihnen müssen auf Nicht-Regression getestet werden. Für diesen Test müssen Testszenarien geschrieben werden. Viele Organisationen müssen diese Logik zusätzlich zur Logik des Integrationsprozesses sowie der Sonden entwickeln, um Ergebnisse zu erfassen. Dies erhöht die Entwicklungsdauer und die Kosten. Die Verwendung einer API zur Injektion von Daten und zum Aufzeichnen von Testszenarien oder einer Integrationstestlösung kann die Projektdauer drastisch verkürzen.

Erstellung eines gemeinsames Datenmodells

Neben der Einschränkung von Technologien erleichtert der Aufbau eines gemeinsamen Datenmodells zukünftige Integrationen, da alle Integrationsprozesse dieselbe Sprache sprechen. Dem Unternehmen wird auch geholfen, da Dienste und Ereignisse mit Geschäftsobjekten einfach erstellt werden können und das Abonnieren der richtigen Ereignisse eine erhöhte geschäftliche Sichtbarkeit bietet.

Einsparungen durch die Nutzung vergangener Investitionen

Viele Alt-Anwendungen sind immer noch ein wichtiger Bestandteil von Geschäftsprozessen und enthalten wichtige Daten, die in alle anderen Systeme in Ihrer Umgebung integriert werden müssen. Obwohl ihre Kerngeschäftsfunktionalitäten große Vermögenswerte für die Wiederverwendung in anderen Diensten bieten, wurden viele ihrer Komponenten und Fähigkeiten seitdem durch andere Anwendungen ersetzt. Die Daten-Integration kann Ihnen helfen, die Daten in Ihren Altsystemen in Ihre moderneren Umgebungen zu integrieren.

In der Regel wird die Daten-Integration als Voraussetzung für eine stärkere Verarbeitung der Daten, insbesondere Analysen, verwendet. Sie müssen Daten zusammenbringen, um die analytische Berichterstattung zu erleichtern und den Benutzern einen vollständigen, einheitlichen Überblick über alle Informationen zu geben, die durch ihre Organisation fließen. Eine echte Analogie zur Daten-Integration besteht darin, einmal zu erstellen und viele Male zu verwenden. Zum Beispiel möchten Sie eine Bestellung nicht manuell in ein System eingeben müssen. Sie möchten es einmal eingeben und es von einem System an ein anderes übergeben lassen - das ist der Hauptwert der Daten-Integration.