Qu'est-ce que le streaming data ?

On parle de streaming data lorsqu'un flux continu et constant de données est généré et traité. Ce processus est possible grâce à la technologie de traitement des flux qui permet de gérer, stocker, analyser et traiter les flux de données en temps réel. Le streaming de données peut également être appelé event stream processing ou streaming data (que la plupart d'entre nous connait grâce à Netflix).

Pour mieux comprendre le streaming data, il est préférable de commencer par le concept de streaming lui-même. Le streaming fait référence à un flux de données ininterrompu qui n'a pas de point de départ ni de fin. Ce flux constant de données peut être utilisé sans jamais devoir être téléchargé. Il est comparable au débit d'une rivière. De nombreux petits ruisseaux, affluents et plans d'eau s'écoulent à des vitesses et des intensités variables pour se fondre en une seule rivière, sans début ni fin depuis votre point d'observation.

De même, les flux de données proviennent de toute une série de sources, dans de nombreux formats et avec des volumes importants. Ces sources peuvent être des applications, des dispositifs en réseau, des fichiers journaux de serveurs, des activités en ligne de diverses natures, ainsi que des données de localisation. Toutes ces sources peuvent être collectées en temps réel pour former une source principale unique pour l'analyse en temps réel et les informations.

Une application de covoiturage est un exemple de streaming data. Si vous effectuez une réservation sur Uber ou Lyft, vous serez mis en relation avec un chauffeur en temps réel, et l'application sera en mesure de vous indiquer la distance qui vous sépare et le temps qu'il vous faudra pour arriver à destination en fonction des données de circulation en temps réel. Parmi les autres exemples de streaming data, citons les transactions boursières en temps réel et la gestion des stocks de détail.

Comment fonctionne le streaming data

Le concept de traitement des données n'est pas nouveau. Dans les premières années, l'infrastructure patrimoniale était plus facilement structurée parce que les données provenaient de beaucoup moins de sources. Des structures entières pouvaient être créées de manière à travailler sur la spécificité et l'unification des données et des structures sources.

Les données modernes proviennent toutefois d'un nombre infini de sources qui peuvent prendre de nombreuses formes, notamment les capteurs physiques, les serveurs, les appareils personnels, les applications et les navigateurs Internet. Il est donc impossible de réglementer ou de faire respecter la structure des données ou de permettre le contrôle de l'intensité et de la fréquence des données générées.

Pour être en mesure de gérer les flux de données modernes, il faut des applications capables d'analyser et de traiter les flux de données en une séquence, un paquet de données à la fois. Chaque paquet de données généré devra également être accompagné de sa source et de son horodatage, ce qui permet aux applications de travailler avec les flux de données.

Les applications qui sont utilisées pour travailler avec des flux de données ont besoin de deux fonctions principales : le stockage et le traitement. Pour le stockage, le logiciel doit avoir la capacité d'enregistrer des flux massifs de données en séquence et de manière cohérente. Pour le traitement, le logiciel doit être capable de gérer l'interaction avec le stockage, la consommation des données stockées, l'analyse des données stockées et l'exécution des calculs nécessaires sur les données.

La création de flux de données comporte plusieurs considérations et défis, et il existe aujourd'hui toute une série de plateformes et d'outils que les entreprises peuvent utiliser pour construire leurs infrastructures de streaming data. Les flux de données jouent un rôle essentiel dans le big data et constituent la base des analyses en temps réel ainsi que de data integration et d'ingestion de données.

Les différences entre le processus batch et les flux en temps réel

Par rapport aux premières méthodes de traitement des données par lots, les flux en temps réel modernes peuvent être très différents. Dans le processus batch traditionnel, les données sont collectées par lots, puis traitées, stockées ou analysées en fonction des besoins. Dans le cas des streaming data, le flux d'entrée des données est continu et celles-ci sont traitées en temps réel. Il n'y a pas d'attente pour que les données arrivent sous forme de lots.

Aujourd'hui, les données circulent en flux constant et se présentent sous des volumes et des formats variés, provenant d'un grand nombre d'endroits et du cloud, sur site ou même d'un cloud hybride. Les anciennes méthodes de traitement des données sont devenues, dans l'ensemble, obsolètes dans les situations actuelles. Les entreprises utilisent aujourd'hui des flux de données en temps réel, à la milliseconde près, ce qui leur offre un large éventail de possibilités pour transformer leurs méthodes de travail.

Avantages des streaming data

Voici un aperçu de la façon dont les streaming data peuvent être appliquées pour aider des situations de travail réelles.

Alerte améliorée

L'avantage immédiat et le plus évident des capacités fournies par les streaming data est la façon dont elles aident le streaming analytique. Il y a un retour d'information instantané lorsqu'un événement, une anomalie ou une tendance commence à se produire. L'alerte n'est pas un aspect unique du streaming, mais le simple fait que ceux qui reçoivent les alertes puissent immédiatement réagir en fait un aspect important. Ce procédé est possible car contrairement au processus batch, il n'y a pas de retard au plan technologique. Voici quelques exemples de la façon dont les alertes peuvent fonctionner :

• Dans le cas de la cybersécurité, les streaming data peuvent être utilisées pour signaler un comportement hors norme au cours d'une enquête. Un grand nombre d'environnements de cybersécurité optent pour le machine learning pour aider à identifier un comportement potentiellement suspect dès qu'il se produit dans un réseau. L'utilisation de visualisations d'alerte et de résultats de machine learning est le meilleur moyen de permettre à un large groupe de cyber-analystes de détecter les menaces. De cette façon, une entreprise peut étendre son réseau de sécurité à un plus grand nombre de personnes que les seuls experts en sécurité et développeurs.
• Le secteur de la vente au détail tire également d'immenses avantages des alertes. Chaque magasin donne la priorité à des choses différentes et les équipes informatiques devraient recevoir des priorités pour lesquelles le code peut être personnalisé. Les streaming data peuvent être utilisées pour détecter des paramètres tels qu'un stock insuffisant ou un intérêt inhabituel de la part des clients. Les outils d'analyse sont déclenchés pour envoyer des alertes au personnel non technique plutôt qu'au personnel technique, ce qui permet d'apporter des réponses positives là où cela compte le plus : dans le magasin.

Utilisation en tandem de l'analyse historique et de l'analyse basée sur le flux de données

Il existe de nombreuses situations dans lesquelles les données historiques sont utilisées parallèlement à l'analyse des données en temps réel pour fournir aux entreprises une image plus complète de leurs activités. Le meilleur cas d'utilisation pour expliquer cette méthode serait celui de l'évaluation des risques pour les institutions financières. Les processus prennent en compte l'ensemble du cercle des transactions : du passé, qui a déjà été exécuté, au présent, qui implique des modifications, des transferts ou des fermetures.

Lorsque l'on place un événement commercial dans son contexte, cela signifie que les données sur les transactions de l'événement aideront les organisateurs à comprendre les modèles applicables à leur plus grand ensemble de portefeuilles. Les informations recueillies à partir d'une analyse des données historiques et en temps réel dans cette situation peuvent faire la différence entre le succès et une perte massive lors de futurs événements.

Avantages de la création de dossiers complets

Dans presque tous les aspects de la vie quotidienne, qu'ils soient professionnels ou non, l'Internet des objets (IoT) est la voie qui est déjà suivie par de nombreuses entreprises. Cependant, le grand problème est que de multiples enregistrements identiques peuvent être générés à partir des streaming data, ce qui entraîne une duplication des informations. Bien qu'il soit essentiel de garder la trace de la source des données, la même information se répétera plusieurs fois. Avec des milliers de points sources, cela peut rapidement devenir problématique et rendre une grande partie des données redondantes. Pour faire de l'utilisation de l'IoT une option plus viable, il est possible de placer toutes les informations répétitives dans une seule table de consultation. En joignant le flux de données à la table de consultation, on obtient un enregistrement complet sans le problème de répétition.

Nous pouvons voir un exemple de cette solution en action sur une plateforme pétrolière, avec les informations répétitives que sont le nom du fabricant et le lieu. En plaçant ces deux informations dans une table de consultation et en les associant au flux de données à l'aide d'une clé, telle que « manu_id », on économise une grande quantité d'espace de données. Cette clé peut ensuite être utilisée pour déterminer si l'emplacement a un impact sur divers aspects tels que l'usure, les capacités de performance, les exigences supplémentaires en matière d'entretien, etc. L'utilisation d'une table de consultation permet de réduire considérablement le temps improductif.

Des idées qui ne peuvent pas être trouvées ailleurs

Les technologies de streaming suscitent actuellement un intérêt et un développement sans précédent. Cette évolution est due aux progrès technologiques et à la prise de conscience que l'analyse des streaming data apporte une immense valeur commerciale. Les entreprises à la recherche d'un nouvel avantage sur la concurrence se tourneront vers le streaming data pour obtenir des informations qu'elles ne peuvent pas obtenir avec leurs approches analytiques actuelles. Parmi les domaines où cette technologie a les applications bénéfiques les plus évidentes, citons les suivantes :

• Utilisation des données de localisation
• Détection des fraudes
• Opérations boursières en temps réel
• Marketing, ventes et analytique métier
• Suivi et analyse de l'activité des clients ou des utilisateurs
• Suivi et rapports sur les systèmes informatiques internes
• Aide à la surveillance des journaux
• Gestion des informations et des événements de sécurité (SIEM)
• Inventaire de détail et d'entrepôt sur plusieurs canaux
• Amélioration de l'appariement des covoiturages
• Combinaison des données pour les utiliser dans des analyses basées sur le machine learning et l'intelligence artificielle.
• Ouverture de nouvelles voies dans l'analyse prédictive

Les défis de la création d'applications de data streaming

Comme pour la plupart des systèmes technologiques, le data streaming s'accompagne également de son lot de défis. Voici un aperçu de certaines des difficultés liées à la création d'applications de data streaming :

L'évolutivité dans un environnement de travail

En cas de défaillance du système, les données de journal provenant de chaque appareil peuvent passer d'un taux d'envoi de kilobits par seconde à des mégabits par seconde. Lorsqu'elles sont regroupées, le taux d'envoi peut même atteindre les gigabits par seconde. L'augmentation nécessaire de la capacité, des ressources et des serveurs requis à mesure que ces applications se développent et que la quantité de données brutes générées augmente parallèlement doit se produire instantanément. La conception d'applications transparentes capables de monter en charge dans des environnements de travail où les données sont transmises en continu est une tâche exigeante qui nécessite de prendre en compte de nombreux processus simultanés.

L'importance des séquences

Déterminer la séquence des données dans un flux de données n'est pas une mince affaire. La séquence des données au sein d'un flux de données est la clé de l'efficacité de son utilisation par les applications. Si les développeurs cherchent à déboguer un problème avec une application de chatbot, la séquence de la conversation est importante pour déterminer où les choses peuvent mal tourner. Chaque ligne de l'examen du journal agrégé doit être dans l'ordre. Le problème provient généralement de divergences entre la séquence du paquet de données généré et la séquence dans laquelle le paquet de données atteint le point de destination. Il peut également y avoir des différences dans les horodatages ainsi que dans les horloges des dispositifs qui génèrent les données.

Maintenir la cohérence et la durabilité

L'un des problèmes les plus difficiles du traitement des streaming data est leur cohérence et leur accès. Les données générées sont souvent distribuées dans plusieurs centres de données à travers le monde. Il est possible qu'au moment où elles sont accessibles dans un centre de données, elles aient déjà été utilisées et rendues redondantes dans un autre. La durabilité des données lorsque l'on travaille avec des flux de données dans le cloud est également un défi constant pour les développeurs.

Tolérance aux pannes et garantie des données

Il est important de tenir compte à la fois de la tolérance aux pannes et de la garantie des données lors du traitement de streaming data sur des systèmes distribués. Lorsque les données proviennent de nombreuses sources et de nombreux sites, sous différents formats et dans des volumes variables, les systèmes organisationnels doivent être conçus pour éviter les perturbations pouvant résulter d'un point de défaillance unique. Ces systèmes doivent être capables de stocker des flux massifs de données de manière durable. Garantir cela n'est pas une tâche facile.

Toute perturbation dans le flux constant de données fait également reculer le système. Si le système ne peut pas stocker les informations perturbées et avoir la capacité de les rattraper, l'ensemble du système porte un lourd fardeau de données retardées.

L'avenir des streaming data

L'utilisation de logiciels en tant que service, d'applications mobiles et basées sur Internet, ainsi que l'utilisation de la data science et de l'analyse avancée par un large éventail d'entreprises ont connu et connaissent encore une croissance rapide et un intérêt certain. Presque toutes les entreprises de taille moyenne ou grande ont un projet de streaming data, en cours ou en préparation. Tout cela repose sur le désir de garder une longueur d'avance et d'analyser les parcours des clients, les données de parcours et plusieurs autres cas d'utilisation qui peuvent générer des rapports utiles.

Il fut un temps où le streaming data était concentré autour d'un petit groupe de personnes au sein des entreprises, principalement des ingénieurs et des data scientists spécialisés dans le big data. Ces professionnels travaillaient avec des compétences incroyablement complexes et sur des flux tels que Spark, Flink, MapReduce et Scala. Ils travaillaient en tandem avec des analystes commerciaux et des professionnels de la business intelligence, tous ayant pour objectif principal d'exécuter des requêtes SQL sur des bases de données relationnelles.

À l'aube de cette nouvelle année, cette situation est sur le point de changer. Les entreprises étant de plus en plus nombreuses à s'appuyer sur des sources de streaming, les utilisateurs professionnels voudront avoir la possibilité de travailler avec des streaming data comme ils le font avec d'autres ensembles de données, sous la forme de tableaux de bord interactifs et d'analyses ad hoc, tout comme le feraient les équipes de développement logiciel. Les données seront ainsi plus accessibles à chacun, quelle que soit sa hiérarchie au sein de l'entreprise.