Qu'est-ce qu'une data federation ?

Une data federation est un processus logiciel qui permet à plusieurs bases de données de fonctionner comme une seule. Cette base de données virtuelle prend les données d'une série de sources et les convertit toutes en un modèle commun. Cela fournit une source unique de données pour les applications frontales.

Diagramme d'une data federation

La data federation fait partie du cadre de la data virtualization. Cette data virtualization s'est développée avec la data federation, mais a fait naître des caractéristiques, des applications et des fonctions supplémentaires. La data virtualization a donc un large éventail de fonctions en dehors de la compilation des entrepôts de données. Elle comprend des référentiels de métadonnées, l'abstraction de données, l'accès en lecture et en écriture aux systèmes de données sources et une sécurité avancée.

La data federation fait partie de la data virtualization, mais ce sont deux concepts distincts.

La data federation dans les entreprises

L'un des plus grands défis auxquels les entreprises sont confrontées aujourd'hui est la gestion efficace des données. Les problèmes liés aux données peuvent être multiples :

  • Des bases de données multiples dans le cloud et différents accès restreints aux sites
  • De grands volumes de données nécessitant un stockage massif
  • Aucune cohérence entre les données, ce qui nécessite des efforts et du temps pour les nettoyer et les organiser
  • Pas de format ou d'emplacement unique pour le stockage des données.

La data federation élimine une grande partie des problèmes liés aux données brutes, ce qui permet aux entreprises de gagner du temps et de l'argent. Par exemple, une data federation convertit les informations provenant de plusieurs sources et les combine dans un format unique. Ensuite, elle place toutes les bases de données dans un seul magasin virtuel. Cela signifie que, plutôt que de créer une autre copie des données, elle les intègre virtuellement, en éliminant ainsi le besoin d'un autre système de stockage.

La data federation doit faire partie d'une stratégie de data management et de data virtualization. Cette stratégie combine les systèmes d'informatique dans le cloud, les extensions d'entrepôts de données, la data integration et une multitude d'autres stratégies de data management.

Modernisez votre architecture de données et d'analyse
Modernisez votre architecture de données et d'analyse
Consultez ces 13 cas d'utilisation pour savoir comment prendre en charge le paysage complexe des données et des analyses d'aujourd'hui.

Avantages de la data federation

Pas besoin d'espace de stockage supplémentaire

Comme le logiciel ne fait pas une copie complète des données à partir de la source, les entreprises n'ont pas besoin d'investir dans du matériel. Il n'est pas nécessaire de disposer d'une infrastructure coûteuse ou de capacités de traitement de données supplémentaires ; tout est géré par le logiciel de data federation.

Une source unique de vérité

Une seule source de données précises est inestimable. Non seulement elle permet de gagner du temps lors de la recherche d'informations spécifiques, mais elle est aussi beaucoup plus précise. Quel que soit l'endroit où les données actualisées et les plus récentes sont saisies, la base de données de la data federation les intègrera. Cela signifie moins d'erreurs, des clients plus heureux et des informations commerciales plus fiables.

Les data silos sont courants, surtout lorsque les entreprises ont une vision moins holistique de l'informatique. Les data federations suppriment les silos et garantissent un partage aisé dans toute l'entreprise.

Des données plus fiables pour le machine learning et l'intelligence artificielle

Une grande partie du rôle d'un data scientist consiste à nettoyer les données : supprimer les points de données inutiles et les doublons, trouver les informations les plus récentes et éliminer les données aberrantes. La data federation effectue la plupart de ces tâches automatiquement. Les données qui en résultent sont précises, cohérentes et offrent des prédictions et des résultats supérieurs.

Accès rapide aux données

Pas de matériel ni d'infrastructure complexe, juste un accès incroyablement rapide aux données. De même, si un logiciel doit être construit, il n'est pas nécessaire de créer l'entrepôt et la fonctionnalité d'extraction, de transformation et de chargement. Il est bien plus rapide de créer une data federation.

Accessible avec un besoin minimal en termes de programmation

Les barrières au début sont faibles pour créer une data federation. La programmation est minimale et il n'est pas nécessaire de faire appel à un personnel informatique spécialisé. Il suffit d'installer le logiciel d'exécution pour le développement de la data federation sur un serveur standard, de créer des vues et des services, et d'affiner les requêtes.

Plus économique que les autres options

Outre le fait qu'elle ne nécessite pas de matériel physique pour stocker les données, une data federation n'a pas besoin de licences logicielles, de data governance supplémentaire et de personnel informatique coûteux.

Minimiser les risques

Dans la mesure où le système ne réplique pas et ne déplace pas physiquement la moindre information, le risque de perte de données est minime, voire nul. Si le système de data federation est correctement configuré, tous les rapports existants peuvent être mis en correspondance afin qu'ils fonctionnent exactement de la même manière. Pas de données ou de rapports manquants, perdus ou confondus, et aucun risque.

Problèmes de la data federation

Incapacité à gérer un nettoyage important des données

Bien qu'une certaine mise au point et un certain nettoyage des données aient lieu, des données très incohérentes ou problématiques peuvent poser des problèmes au logiciel et compromettre les résultats de l'entreprise.

Solution : les données doivent être au format relationnel ou XML. Si cela n'est pas possible, reconsidérez l'utilisation d'une data federation, en particulier avec des bases de données très grandes ou complexes.

Pas de données historiques

Lorsque des modifications sont apportées à la plupart des systèmes de données, les données historiques sont conservées sous une forme ou une autre. De cette façon, il devient facile de remonter le temps, de trouver et de résoudre les erreurs. Cependant, les data federations ne disposent que des données les plus récentes et actuelles.

Solution : les systèmes de stockage physique des données sont toujours nécessaires pour capturer les données historiques.

Besoin d'une capacité de système cohérente

Si les systèmes informatiques d'une entreprise fonctionnent au maximum ou ont du mal à gérer leur capacité, une data federation ne fonctionnera pas. L'infrastructure doit pouvoir gérer la nature ad hoc des demandes sans ralentir les tâches essentielles de traitement des données.

Solution : des mises à niveau du système peuvent être nécessaires pour exécuter correctement les data federations.

Rapport O'Reilly : Construire une infrastructure de données unifiée
Rapport O'Reilly : Construire une infrastructure de données unifiée
Seul un tiers des entreprises se sont transformées en organisations axées sur les données. Quelle est la solution ? Découvrez-la dans cet eBook.

À quoi ressemble la data federation dans une entreprise ?

Une entreprise dispose souvent de plusieurs bases de données et de data silos distincts difficiles d'accès. Avec un accès fragmenté aux données, les informations commerciales sont incohérentes et peu fiables.

Une data federation permet de rassembler toutes les données. Le contrôle des bases de données d'origine reste entre les mains de la division ou de la filiale, ce qui garantit l'exactitude des données. La mise en œuvre est ainsi beaucoup plus soutenue, avec un respect des politiques plus important à tous les niveaux de l'entreprise.

Le personnel et les utilisateurs finaux peuvent accéder à une variété de rapports et d'informations précises, ce qui permet d'améliorer la business intelligence, les données pour les prédictions et les résultats pour toutes les parties prenantes, y compris les clients et les fournisseurs.

Alternatives à la data federation

La principale alternative à une data federation est un entrepôt de données ou un entrepôt de données d'entreprise (Enterprise Data Warehouse, EDW). À l'instar d'une data federation, il s'agit d'un référentiel centralisé qui extrait les données de plusieurs sources à des fins d'analyse. Cependant, contrairement à une data federation, ils nécessitent une intégration physique.

Cela signifie que les données sont collectées à partir d'une série de sources, puis stockées dans l'entrepôt de données sous forme de copie physique.

Bien que cela présente des inconvénients, un entrepôt de données et une data federation ne doivent pas être considérés comme une solution alternative. Ils doivent être utilisés conjointement afin de créer un système homogène et sans faille qui capture toutes les informations pertinentes. La data federation permet aux utilisateurs d'accéder facilement aux bonnes données, tandis que l'entrepôt de données les héberge physiquement.

L'avenir de la fédération des données

En moyenne, les grandes entreprises disposent d'environ 40 bases de données singulières. Ces systèmes fonctionnent tous en parallèle et peuvent causer un grand nombre de problèmes, réduisant la fonctionnalité et la précision de l'entreprise. Mais depuis que la data federation est devenue monnaie courante au milieu des années 2010, nombre de ces problèmes ont disparu.

Alors que les organisations devraient se concentrer sur la création d'une base de données holistique et facile à utiliser, qui évite les data silos et les coûts matériels énormes, les data silos sont difficiles à résoudre. Le rythme du développement technologique signifie qu'une plateforme personnalisée sera dépassée en quelques années, et qu'aucun logiciel ne pourra jamais répondre à tous les besoins de l'entreprise. Même si les anciens systèmes sont progressivement retirés, l'accès aux données doit être maintenu.

C'est là qu'une data federation brille. En tant que partie d'un système qui incorpore des entrepôts de données, le cloud et le site, et la data integration, les data federations deviennent un système homogène qui satisfait toutes les exigences. Les défis et les faiblesses d'une data federation sont compensés par les forces d'un entrepôt de données, ce qui en fait la solution idéale à la plupart des problèmes de bases de données d'entreprise.