Qu'est-ce que la data science ?

La data science est une approche multidisciplinaire visant à trouver, extraire et faire apparaître des modèles dans les données par la fusion de méthodes analytiques, d'expertise du domaine et de technologie. Cette approche comprend généralement les domaines de data mining, prévisions, machine learning, analyse prédictive, statistiques et analyse de texte. Les données augmentant à un rythme alarmant, la course est lancée pour que les entreprises exploitent les informations contenues dans leurs données. Cependant, la plupart des organisations sont confrontées à une pénurie d'experts pour analyser leur big data afin de trouver des idées et d'explorer les problèmes dont l'entreprise ne soupçonnait même pas l'existence. Pour réaliser et rentabiliser la valeur de la data science, les entreprises doivent intégrer des informations prédictives, des prévisions et des stratégies d'optimisation dans les systèmes commerciaux et opérationnels. De nombreuses entreprises offrent désormais à leurs travailleurs intellectuels des plateformes qui peuvent les aider à mener leurs propres projets et tâches de machine learning. La capacité d'extraire des tendances et des opportunités dans les quantités massives de données infusées dans une entreprise donnera à celle-ci un avantage concurrentiel.

La data science comprend des capacités descriptives, diagnostiques, prédictives et prescriptives. Cela signifie qu'avec la data science, les organisations peuvent utiliser les données pour comprendre ce qui s'est passé, pourquoi cela s'est passé, ce qui va se passer et ce qu'elles doivent faire pour obtenir le résultat escompté.

Comprendre le fonctionnement de la data science

D'un point de vue conceptuel, le processus de data science est très simple à comprendre et comprend les étapes suivantes :

1. Comprendre le problème de l'entreprise.
2. Rassembler et intégrer les données brutes.
3. Explorer, transformer, nettoyer et préparer les données.
4. Créer et sélectionner des modèles basés sur les données.
5. Tester, mettre au point et déployer des modèles.
6. Contrôler, tester, rafraîchir et gouverner les modèles.

Comprendre le problème de l'entreprise.

Le processus de data science commence par la compréhension du problème que l'utilisateur professionnel tente de résoudre. Par exemple, un utilisateur professionnel peut vouloir demander et comprendre « Comment puis-je augmenter mes ventes ? » ou « Quelles sont les techniques les plus efficaces pour vendre à mes clients ? » Ce sont des questions très larges et ambiguës qui ne mènent pas à une hypothèse pouvant être recherchée immédiatement. Le travail du data scientist est de décomposer ces problèmes commerciaux en hypothèses pouvant être recherchées et testées. Par exemple, la question « Comment puis-je augmenter mes ventes ? » peut être décomposée en plusieurs questions plus petites, telles que « Quelles sont les conditions qui ont entraîné une augmentation des ventes ? S'agissait-il d'une promotion, de la météo ou de fluctuations saisonnières ? », « Comment pouvons-nous optimiser nos ventes en fonction des contraintes ? » et « Quelles sont les ventes probables demain/la semaine prochaine/le mois prochain pour chaque magasin ? ». Ce qu'il faut retenir, c'est qu'il faut comprendre la décision commerciale qui doit être prise, et travailler à rebours à partir de là. Comment votre processus opérationnel changerait-il si vous pouviez prévoir quelque chose une heure, un jour, une semaine ou un mois à l'avance ?

Collecte et intégration des données brutes

Une fois que le problème de l'entreprise est compris, l'étape suivante consiste à rassembler et à intégrer les données brutes. Tout d'abord, l'analyste doit trouver les données disponibles. Souvent, les données se trouvent sous nombreux formats différents et dans de nombreux systèmes différents, de sorte que data wrangling et les techniques de préparation des données sont souvent utilisés pour convertir les données brutes en un format utilisable et adapté aux techniques analyses spécifiques qui seront utilisées. Si les données ne sont pas disponibles, les data scientists, les ingénieurs des données et les informaticiens collaborent généralement pour apporter de nouvelles données dans un environnement sandbox pour les tester.

Explorer et préparer les données

Maintenant, les données peuvent être explorées. La plupart des praticiens de la data science utiliseront un outil de visualisation des données qui organisera les données sous forme de graphiques et de visualisations pour les aider à voir les schémas généraux des données, les corrélations de haut niveau et les éventuelles valeurs aberrantes. C'est également à ce moment que l'analyste commence à comprendre quels facteurs peuvent aider à résoudre le problème. Maintenant que l'analyste a une compréhension de base de la façon dont les données se comportent et des facteurs potentiels qui peuvent être importants à prendre en compte, il va transformer, créer de nouvelles caractéristiques (c'est-à-dire des variables) et préparer les données pour la modélisation.

Tester, ajuster et déployer des modèles

C'est à ce moment-là que la plupart des analystes utilisent des algorithmes pour créer des modèles à partir des données d'entrée en utilisant des techniques telles que le machine learning,le deep learning, la prévision ou le traitement du langage naturel (c'est-à-dire l'analyse de texte) pour tester différents modèles. Les modèles statistiques et les algorithmes sont appliqués à l'ensemble des données pour essayer de généraliser le comportement de la variable cible (par exemple, ce que vous essayez de prédire) en fonction des prédicteurs d'entrée (par exemple, les facteurs qui influencent la cible).

Les résultats sont généralement des prédictions, des prévisions, des anomalies et des optimisations qui peuvent être affichées dans des tableaux de bord ou des rapports intégrés, ou infusées directement dans les systèmes d'entreprise pour prendre des décisions proches du point d'impact. Ensuite, une fois les modèles déployés dans les systèmes de visualisation ou d'entreprise, ils sont utilisés pour noter de nouvelles données d'entrée qui n'ont jamais été vues auparavant.

Contrôler, tester, rafraîchir et gouverner les modèles.

Une fois les modèles déployés, ils doivent être surveillés afin de pouvoir être rafraîchis et reformés en fonction de l'évolution des données due aux changements de comportement des événements du monde réel. Il est donc impératif que les organisations disposent d'une stratégie d'exploitation des modèles pour régir et gérer les modifications apportées aux modèles de production.

Outre le déploiement de modèles dans les tableaux de bord et les systèmes de production, les data scientists peuvent également créer des pipelines de data science sophistiqués qui peuvent être invoqués à partir d'un outil de visualisation ou de tableau de bord. Souvent, ces pipelines comportent un ensemble réduit et simplifié de paramètres et de facteurs qui peuvent être ajustés par un citizen data scientist. Cela permet de remédier à la pénurie de compétences mentionnée ci-dessus. Ainsi, un citizen data scientist, qui est souvent un expert de l'entreprise ou du domaine, peut sélectionner les paramètres qui l'intéressent et exécuter un flux de données scientifique très complexe sans avoir à en comprendre la complexité. Cela lui permet de tester différents scénarios sans avoir à faire appel à un data scientist.

En résumé, les data scientists racontent une histoire à l'aide de données, puis fournissent des informations prédictives que l'entreprise peut utiliser pour des applications dans le monde réel. Le processus utilisé, comme le montre le graphique ci-dessous, est le suivant :

• Données d'entrée
• Données de préparation
• Appliquer l'apprentissage automatique
• Déployer, noter et gérer les modèles
• Données de sortie

Étapes clés du processus de data science

Compréhension des affaires

• Comprendre la décision commerciale à prendre
• Déterminer les données nécessaires pour prendre la décision
• Réalisez comment votre entreprise va changer suite à la décision
• Déterminer l'architecture nécessaire pour soutenir la décision
• Constituer une équipe technique et de gestion de projet pluri-disciplinaire.

Comprendre le processus de machine learning

• Acquisition et intégration des données
• Data exploration, préparation et nettoyage des données
• Prétraitement des données, transformation et génération de caractéristiques
• Développement et sélection de modèles
• Test et réglage du modèle
• Déploiement du modèle

Comprendre le processus d'exploitation et de gouvernance du modèle

• Référentiel de modèles, documentation et contrôle de version
• Évaluation du modèle, cadre API et stratégie de conteneurs
• Environnement d'exécution du modèle
• Déploiement, intégration et résultats du modèle
• Suivi, test et actualisation du modèle

Quelles sont les compétences requises pour la data science ?

Compétences professionnelles : Collaboration, travail d'équipe, communication, expertise du domaine/connaissance des affaires

Compétences en analyse : Préparation des données, machine learning, statistiques, analyse géospatiale, data visualization

Compétences en informatique/sciences : Pipelines de données, déploiement de modèles, surveillance, gestion, programmation/codage.

Qui utilise la data science ?

« Le talent caché» c'est-à-dire les Citizen Data Scientists : Utiliser les données et les analyses au quotidien pour résoudre des problèmes commerciaux spécifiques à l'aide d'une interface de type pointer-cliquer.

« Le Business-driven » : Se concentrer sur les initiatives menées par les unités commerciales et améliorer les opérations commerciales.

« Les spécialistes »: Travaillez dans l'ensemble des fonctions et unités commerciales pour résoudre les problèmes et collaborez avec l'informatique pour rendre opérationnels les modèles de machine learning. Obtenir l'adhésion et le financement des dirigeants.

« Les Hotshots » : Exploitez une multitude de sources de données pour résoudre de nouveaux problèmes, modeler des solutions à l'aide du machine learning et exécuter des flux de data science à l'échelle. Favorisez des outils comme R, Python, Scala, Hadoop et Spark.

« Le potentiel inexploité » : Ils veulent se lancer, mais ne pensent pas avoir le soutien ou la formation nécessaires ou ne travaillent pas pour une organisation disposant d'une technologie offrant des modèles réutilisables.

Tâches principales de la data science

• Compréhension et analyse des problèmes
• Collecte des données, préparation/nettoyage des données et analyse exploratoire de base des données.
• Développement et test des modèles
• Déploiement, surveillance et gouvernance des modèles
• Communication des résultats aux décideurs d'entreprise

Quels défis peut relever la data science ?

Vous trouverez ci-dessous quelques exemples des défis que la data science relève dans différents secteurs :

Énergie

La science des données est surtout utilisée dans le secteur de l'énergie pour optimiser l'exploration, la production et les opérations tout en anticipant les demandes telles que :

• Prévoir les défaillances des équipements.
• Prévoir les volumes et les prix futurs du pétrole.
• Optimiser la distribution.
• Réduire les émissions.
• Analyser la composition du sol.
• Caractériser les réservoirs.

Finances et assurances.

Dans le secteur de la finance et de l'assurance, la data science est surtout axée sur la réduction des risques, la détection des fraudes et l'optimisation de l'expérience client. Voici quelques exemples d'utilisation de la data science :

• Prévoir le risque du crédit.
• Détecter la fraude.
• Analyser les clients.
• Gérer le risque du portefeuille.
• Déterminer la probabilité d'une résiliation.
• Se conformer aux réglementations telles que SOX, Basel II.

Santé

La data science dans les soins de santé est surtout utilisée pour améliorer la qualité des soins, améliorer les opérations et réduire les coûts.

• Prédire le risque de maladie.
• Détecter les réclamations frauduleuses.
• Prescrire des doses de médicaments personnalisés.
• Analyser les images pour détecter les cancers.
• Gérer les réclamations.
• Améliorer la sécurité des patients.
• Déterminer qui est le plus à risque.

Pharmaceutique

La data science dans le secteur pharmaceutique est principalement utilisée pour garantir la sécurité, la qualité des produits et l'efficacité des médicaments, comme :

• Déterminer le lot en or.
• Analyser l'essai clinique.
• Tracer les produits.
• Analyser la stabilité et la durée de conservation.
• Valider les rapports et les analyses pour la conformité réglementaire.
• Analyser les processus de fabrication, les données.

Industrie manufacturière

Dans le secteur de la fabrication , la data science permet d'optimiser les processus, d'améliorer la qualité et de surveiller les fournisseurs. En voici quelques exemples :

• Améliorer les rendements.
• Réduire les rebuts, les reprises, les rappels &
• Détecter les fraudes à la garantie
• Respecter la réglementation
• Prévoir & prévenir les pannes d'équipement

Les défis auxquels sont confrontés les spécialistes des données

Données inaccessibles

Adressé par :

• Combiner facilement des données provenant de sources multiples et disparates dans une couche de données virtuelle.
• Manipulation visuelle, nettoyage et transformation des données pour les rendre prêtes à être analysées.
• Utilisation de l'introspection et de la découverte de relations pour comprendre et valider les relations entre les données en vue de la construction de modèles.

Données sales

Adressé par :

• Un traitement visuel alimenté par l'IA pour suggérer automatiquement des transformations, supprimer les valeurs aberrantes et nettoyer les données.
• Contrôle automatisé de l'état des données pour compléter les valeurs manquantes, supprimer les variables sans importance et préparer les données pour l'analyse.
• Formatage et préparation des données à travers des sources disparates à grande échelle

Talent limité & Expertise

Adressé par :

• Utilisation de recommandations automatisées et d'aperçus visuels pour donner un sens à la complexité.
• Exploiter la créativité de l'ensemble de l'équipe, et pas seulement de quelques data scientists, et collaborer de bout en bout du cycle de vie analytique.
• Création de modèles paramétrés réutilisables pouvant être exécutés par des scientifiques de données citoyens afin de faire évoluer l'apprentissage automatique.

Les résultats ne sont pas utilisés

Adressé par :

• Simplifier le déploiement dans les systèmes opérationnels pour intégrer l'apprentissage automatique dans les processus opérationnels au point d'impact.
• Opérationnalisation de la science des données grâce à la surveillance, au recyclage et à la gouvernance des modèles.
• Assurer des transferts réussis à travers le cycle de vie analytique de bout en bout : pipeline de données, construction de modèles, évaluation et développement d'applications.

Résoudre les défis de la science des données

La science des données pour tous : Démocratiser et collaborer sur la science des données grâce à l'automatisation, aux modèles réutilisables et à un cadre de collaboration commun pour les équipes pluridisciplinaires.

Accélérer l'innovation : Préparer rapidement un prototype de nouvelles solutions flexibles avec des algorithmes natifs, des logiciels libres et des écosystèmes de partenaires tout en assurant la gouvernance.

AnalyticOps : Monétiser la valeur de la science des données en se concentrant systématiquement sur ses opérations grâce à la surveillance, la gestion, la mise à jour et la gouvernance du pipeline.

Formation : Fournir un enseignement et une formation aux citoyens spécialistes des données et aux autres personnes qui souhaitent apprendre les pratiques de la science des données.

Centre d'excellence : Créer un centre d'excellence pour promouvoir les meilleures pratiques et favoriser l'innovation et la réutilisation afin que la science des données puisse être mise à l'échelle de l'entreprise.