Qu'est-ce que la Data Integration ?

La data integration est le processus consistant à rassembler des données provenant de sources disparates afin de fournir aux utilisateurs une vue unifiée. L'intention de la data integration est de rendre les données plus librement disponibles et plus faciles à consommer et à traiter par les systèmes et les utilisateurs. Une data integration bien réalisée peut réduire les coûts informatiques, libérer des ressources, améliorer la data quality et favoriser l'innovation, sans pour autant modifier radicalement les applications ou les structures de données existantes. Et bien que les organisations informatiques aient toujours été obligées de procéder à l'intégration, la rentabilité de cette opération n'a jamais été aussi grande qu'aujourd'hui.

Les entreprises disposant de capacités d'intégration de données matures disposent d'avantages significatifs par rapport à leurs concurrents, notamment :

• Une augmentation de l'efficacité opérationnelle en réduisant le besoin de transformer et de combiner manuellement les ensembles de données.
• Une meilleure data quality grâce à des transformations automatisées qui appliquent des règles de gestion aux données.
• Le développement d'informations plus précieuses grâce à une vue globale des données qui peuvent être plus facilement analysées.

Une entreprise numérique est construite autour des données et des algorithmes qui les traitent, et elle extrait une valeur maximale de ses actifs informationnels, de partout dans l'écosystème de l'entreprise, à tout moment où cela est nécessaire. Au sein d'une entreprise numérique, les données et les services associés circulent sans entrave, mais en toute sécurité, dans le paysage informatique. La data integration permet d'avoir une vue complète de toutes les informations qui circulent dans une entreprise et de préparer vos données pour l'analyse.

L'évolution de la data integration

La portée et l'importance de la data integration ont complètement changé. Aujourd'hui, nous augmentons les capacités de l'entreprise en exploitant des applications SaaS standard, tout en continuant à développer des applications personnalisées. Avec un riche écosystème de partenaires prêts à exploiter les informations d'une entreprise, les informations sur les services d'une entreprise qui sont exposées aux clients sont désormais aussi importantes que les services eux-mêmes. Aujourd'hui, l'intégration des applications SaaS, personnalisées et des partenaires, ainsi que des données qu'elles contiennent, est obligatoire. De nos jours, une entreprise se différencie en combinant ses capacités commerciales de manière unique. Par exemple, de nombreuses entreprises analysent les données en mouvement et au repos, utilisent leurs conclusions pour créer des règles commerciales, puis appliquent ces règles pour répondre encore plus rapidement aux nouvelles données. Les objectifs typiques de ce type d'innovation sont une expérience utilisateur plus intense et une amélioration des opérations commerciales.

Comment fonctionne la data integration ?

L'un des plus grands défis auxquels les organisations sont confrontées est d'essayer d'accéder aux données qui décrivent l'environnement dans lequel elles opèrent et de leur donner un sens. Chaque jour, les organisations capturent de plus en plus de données, dans une variété de formats, à partir d'un nombre croissant de sources de données. Les organisations ont besoin d'un moyen pour que les employés, les utilisateurs et les clients puissent tirer de la valeur de ces données. Cela signifie que les entreprises doivent être en mesure de rassembler les données pertinentes, où qu'elles se trouvent, afin de soutenir les processus de reporting et de gestion de l'entreprise.

Mais, les données requises sont souvent réparties entre des applications, des bases de données et d'autres sources de données hébergées sur site, dans le cloud, sur des appareils IoT ou fournies par des tiers. Les organisations ne conservent plus les données simplement dans une seule base de données, elles conservent plutôt les données de base et transactionnelles traditionnelles, ainsi que de nouveaux types de données structurées et de données non structurées, dans plusieurs sources. Par exemple, une organisation peut avoir des données dans un fichier plat ou elle peut vouloir accéder à des données à partir d'un service Web.

L'approche traditionnelle de la data integration est connue sous le nom d'approche de data integration physique. Elle implique le déplacement physique des données de leur système source vers une zone de transit où le nettoyage, le mappage et la transformation ont lieu avant que les données ne soient physiquement déplacées vers un système cible, par exemple un entrepôt de données ou un mini-entrepôt. L'autre option est l'approche de data virtualization. Cette approche implique l'utilisation d'une couche de virtualisation pour se connecter aux magasins de données physiques. Contrairement à l'intégration des données physiques, la data virtualization implique la création de vues virtualisées de l'environnement physique sous-jacent sans qu'il soit nécessaire de déplacer physiquement les données.

Une technique courante de data integration est Extract Transform and Load (ETL) où les données sont extraites physiquement de plusieurs systèmes sources, transformées dans un format différent et chargées dans un magasin de données centralisé.

Considérations pour améliorer une simple intégration

La valeur ajoutée de la mise en œuvre d'une technologie de data integration est, avant tout, le coût lié au fait de ne plus avoir à intégrer manuellement les données. Il existe également d'autres avantages, notamment celui d'éviter le codage personnalisé de l'intégration. Chaque fois qu'elles le peuvent, les organisations devraient chercher à utiliser un outil d'intégration fourni par un fournisseur plutôt que d'écrire un code d'intégration personnalisé. Les raisons en sont : a) une meilleure data quality, b) des performances optimales ,c) un gain de temps.

Les organisations pourraient tirer une valeur beaucoup plus grande de leur intégration en ajoutant les objectifs supplémentaires suivants à leurs feuilles de route de maturité de l'intégration :

Rationaliser le développement

Choisissez une solution qui vous permet de créer un catalogue de formats et de sous-processus à réutiliser, notamment les processus non fonctionnels tels que la journalisation, les tentatives, etc. La possibilité de tester toute logique d'intégration à la volée réduira aussi considérablement le temps nécessaire à la mise en œuvre et à la maintenance.

Configuration

Les processus de data integration sont configurés pour connecter les applications et les systèmes. Ces configurations doivent refléter immédiatement tout changement, garantir que les bons systèmes sont utilisés et propager les changements dans les différents environnements (développement, test, assurance qualité et production). La plupart des entreprises déclarent qu'elles modifient encore les paramètres de configuration manuellement dans leur environnement de développement intégré (Integrated Development Integration, IDE), un processus humain coûteux qui peut également impliquer une altération de la logique d'intégration. La meilleure alternative, qui consiste à accéder aux variables et à les gérer dans des scripts ou des interfaces de déploiement, permet des déploiements entièrement automatisés qui réduisent la durée des projets.

Essais

Les tests sont au cœur du développement de data integration. Ils permettent de vérifier la technologie de data integration et les systèmes cibles. Ils doivent donc être effectués immédiatement, dès que le développeur crée ou met à jour la logique. Cependant, il est clair que la plupart des organisations doivent déployer des processus avant de pouvoir les tester, ce qui entraîne des retards. Un IDE permettant un débogage immédiat raccourcit considérablement le développement des processus d'intégration. De plus, certains processus de data integration étant très critiques, ils doivent être testés dans des environnements très proches de l'environnement de production, et leurs mises à jour doivent être testées pour vérifier la non-régression. Ces tests nécessitent la rédaction de scénarios de test. De nombreuses organisations doivent développer cette logique en plus de la logique du processus d'intégration, ainsi que des sondes pour capturer les résultats. Cela augmente la durée et les coûts de développement. L'utilisation d'une API pour injecter des données et enregistrer des scénarios de test, ou une solution de test d'intégration, peut réduire considérablement la durée du projet.

Établir un modèle de données commun

En plus de limiter les technologies, la création d'un modèle de données commun facilite les intégrations futures car tous les processus d'intégration parleront le même langage. L'entreprise sera également aidée car les services et les événements impliquant des objets d'entreprise peuvent être facilement créés, et la souscription aux bons événements offre une meilleure visibilité de l'entreprise.

Les économies réalisées grâce à l'exploitation des investissements passés

De nombreuses applications existantes constituent encore un élément essentiel des processus métier et contiennent des données importantes qui doivent être intégrées à tous les autres systèmes de votre environnement. Bien que leurs fonctionnalités commerciales de base constituent d'excellents atouts pour la réutilisation dans d'autres services, nombre de leurs composants et capacités ont depuis été remplacés par d'autres applications. La data integration peut vous aider à intégrer les données de vos anciens systèmes dans vos environnements plus modernes.

En général, la data integration est utilisée comme condition préalable à un traitement plus poussé des données, notamment à l'analyse. Vous devez rassembler les données pour faciliter la production de rapports analytiques et donner aux utilisateurs une vue complète et unifiée de toutes les informations qui circulent dans leur organisation. Une véritable analogie de data integration consiste à créer une fois et à utiliser plusieurs fois. Par exemple, vous ne voulez pas avoir à saisir manuellement une commande dans un système. Vous voulez la saisir une fois et faire en sorte qu'un système la transmette à un autre : c'est cela, la principale valeur de la data integration.