O que é virtualização de dados?

O software de virtualização de dados atua como uma ponte entre diferentes fontes de dados, reunindo dados críticos de tomada de decisão em um local virtual para alimentar a análise.

A virtualização de dados fornece uma camada de dados moderna que permite aos usuários acessar, combinar, transformar e entregar conjuntos de dados com velocidade e economia inovadoras. A tecnologia de virtualização de dados oferece aos usuários acesso rápido aos dados armazenados em toda a empresa - incluindo bancos de dados tradicionais, fontes de big data e sistemas de nuvem e IoT - em uma fração do armazenamento físico e tempo e custo de extração / transformação / carregamento (ETL).

Com a virtualização de dados, os usuários podem aplicar diversas análises - incluindo análises visualizadas, preditivas e de streaming - em atualizações de dados recentes e em dia. Por meio de governança e segurança integradas, os usuários da virtualização de dados têm a garantia de que seus dados são consistentes, de alta qualidade e protegidos. Além disso, a virtualização de dados permite dados mais amigáveis aos negócios, transformando estruturas e sintaxe nativas de TI em serviços de dados curados por TI simples de entender e fáceis de encontrar e usar por meio de um diretório de negócios de autoatendimento.

A virtualização de dados oferece suporte a várias linhas de negócios, centenas de projetos e milhares de usuários que podem aumentar de projeto para uma escala corporativa.

Fontes de dados comuns virtualizadas por meio de software de virtualização de dados

• Pacotes de apps
• RDBMS
• Excel e arquivos flat
• Armazenamento de dados
• Data lakes
• Big data
• Documentos XML
• Dados na nuvem
• Serviços web
• Dados IoT

Sistemas comuns usados com virtualização de dados

• Oracle
• Servidor SQL
• Teradata
• Netezza
• DB2
• Hive
• Impala
• Sharepoint
• Excel
• Arquivos flat
• Amazon Redshift
• Google Big Query
• Spark
• Drill
• REST
• OData

4 principais recursos que um sistema de virtualização de dados deve ter

Quatro componentes são necessários para atender às necessidades urgentes de negócios com virtualização de dados

Design e desenvolvimento ágil: você precisa ser capaz de examinar os dados disponíveis, descobrir relacionamentos ocultos, modelar visualizações/serviços individuais, validar visualizações/serviços e modificar conforme necessário. Esses recursos automatizam trabalhos difíceis, melhoram o tempo de solução e aumentam a reutilização de objetos.

Tempo de execução de alto desempenho: o aplicativo invoca uma solicitação, a consulta otimizada executa uma única instrução e o resultado é entregue na forma adequada. Esse recurso permite dados atualizados, desempenho otimizado e menos replicação.

Uso de cache quando apropriado: Colocando dados essenciais em cache, o aplicativo invoca uma solicitação, uma consulta otimizada (aproveitando os dados em cache) é executada e os dados são entregues na forma adequada. Esse recurso aumenta o desempenho, evita restrições de rede e permite disponibilidade 24 horas por dia, 7 dias por semana.

Catálogo / diretório de negócios para facilitar a localização de dados: essa ferramenta inclui recursos de pesquisa e categorização de dados, navegação em todos os dados disponíveis, seleção de um diretório de visualizações e colaboração com a TI para melhorar a qualidade e utilidade dos dados. Esse recurso capacita os usuários de negócios com mais dados, melhora a eficácia do usuário de TI/negócios e permite que a virtualização de dados seja mais amplamente adotada.

Quais são os casos de uso de virtualização de dados?

• Casos de uso em Analytics
  • Prototipagem de integração de dados físicos
  • Acesso a dados/camada semântica para Analytics
  • Armazém de dados lógicos
  • Preparação de dados
  • Restrições regulamentares na movimentação de dados
• Casos de uso operacional
  • Camada de acesso a dados abstratos/armazenamento de dados operacionais virtuais (ODS)
  • Gerenciamento de dados mestre de tipo registro
  • Migração de sistema legado
  • Acesso aos dados do aplicativo
  • Restrições regulamentares na movimentação de dados
• Casos de uso emergentes
  • Compartilhamento de dados na nuvem
  • Acesso a dados de ponta na integração IoT
  • Habilitação de hub de dados
  • Integração de dados e conteúdo
  • Restrições regulamentares na movimentação de dados

Os benefícios da virtualização de dados

Aceleração do valor comercial: os aplicativos de Analytics podem ser aplicados mais cedo e um valor maior pode ser obtido mais rapidamente conforme as mudanças ocorrem

Melhoria do insight de negócios: dados mais completos, atualizados e fáceis de acessar e compreender, exigindo menos esforço do que ETL

Prevenção de custos de desenvolvimento: serviços de dados reutilizáveis e desenvolvimento e validação interativos melhoram a qualidade e evitam retrabalho para novos projetos

Redução de custos de infraestrutura de gerenciamento de dados: menores custos de infraestrutura e menos licenças para comprar e depreciar resultam em menores custos de suporte e manutenção

Como os diversos setores da indústria usam a virtualização de dados?

• Comunicações & Tecnologia
  • Diferenciação dos serviços de pesquisa de mercado
  • Aumento da receita por cliente
  • Construção de um data lake virtual do cliente
  • Permissão de inovação de ponta
  • Criação de um ODS em tempo real para faturamento e marketing
  • Otimização do atendimento ao cliente
  • Gerenciamento dos direitos do cliente
  • Melhora dos insights do cliente
• Energia
  • Otimização da produção de energia upstream
  • Melhora da manutenção e reparo de poços
  • Analise dos dados de plataforma offshore
  • Otimização dos processos de refinaria cruzada
  • Fornecimento de qualidade de dados mestre SAP
• Serviços financeiros
  • Gerenciamento da renda de risco fixo
  • Melhor reconciliação comercial
  • Aceleração da integração de novos clientes
  • Tratamento da complexidade dos dados de hipotecas
  • Enriquecimento de clientes de gestão de caixa
  • Capacitação da democratização dos dados
• Governamental
  • Proteção do meio ambiente
• Saúde
  • Impulsionamento da inovação de novos produtos
  • Aceleração das sinergias de M&A
  • Fornecimento de uma análise de sinistros mais eficiente
  • Melhora do atendimento ao paciente
• Manufatura
  • Otimização da cadeia de suprimentos global
  • Otimização de fábricas e da logística
  • Diferenciação por digitalização
  • Melhora da utilização de ativos de TI

Primeiros passos com virtualização de dados

A implementação de maior valor da virtualização de dados é uma camada de dados virtualizada de alta velocidade. Essa camada permite gerenciamento e governança robustos, ao mesmo tempo que fornece acesso de autoatendimento a dados críticos, organizando-os em escala e disponibilizando-os de maneira econômica para aplicativos e sistemas analíticos.

No entanto, a maioria das implementações de virtualização de dados começa pequena e se expande. Uma maneira comum de começar é com uma equipe pequena e focada, encarregada de um ou mais projetos. Uma equipe pequena pode ser versátil e, ao mesmo tempo, aceitar algumas incertezas. (As equipes devem ser rápidas para agir com velocidade e concluir várias iterações de projetos de dados.)

A próxima etapa é entregar os conjuntos de dados do projeto à medida que a camada de dados está sendo construída. Esta etapa aborda vários desafios de dados, incluindo requisitos em evolução, várias fontes, tipos de dados mistos, dados atualizados, dados fora do data warehouse, dados muito grandes para integrar fisicamente e dados fora do firewall.

As equipes também precisam priorizar seus projetos de virtualização de dados com base no valor comercial e na facilidade de implementação da virtualização de dados. Quanto maior o valor do negócio e a facilidade de implementação, maior será a prioridade do projeto. A virtualização de dados e as pessoas que a implementam também precisam evoluir para reutilizar vários serviços de dados nas camadas de aplicativo, de negócios e de origem.

How do various industry sectors use data virtualization?

• Communications & Technology
  • Differentiating market research services
  • Increasing revenue per customer
  • Building a virtual customer data lake
  • Enabling leading-edge innovation
  • Creating a real-time ODS for billing and marketing
  • Optimizing customer care
  • Managing customer entitlements
  • Improving customer insights
• Energy
  • Optimizing upstream energy production
  • Improving well maintenance and repair
  • Analyzing offshore platform data
  • Optimizing cross-refinery processes
  • Providing SAP master data quality
• Financial Services
  • Managing fixed-risk income
  • Improving trade reconciliation
  • Accelerating new client onboarding
  • Addressing mortgage data complexity
  • Enriching cash management clients
  • Empowering data democracy
• Government
  • Protecting the environment
• Healthcare
  • Driving new product innovation
  • Accelerating M&A synergies
  • Providing more efficient claims analysis
  • Improving patient care
• Manufacturing
  • Optimizing a global supply chain
  • Optimizing factories and logistics
  • Differentiating via digitization
  • Improving IT asset utilization

Getting Started with Data Virtualization

The highest value implementation of data virtualization is a high-speed, virtualized data layer. Such a layer allows for robust management and governance, while also delivering self-service access to critical data, organizing it for scale, and making it available in a cost-effective manner to applications and analytics systems.

However, most data virtualization implementations start small and expand. A common way of starting is with a small and focused team charged with one or more projects. A small team can be versatile while also accepting some uncertainty. (Teams must be agile to move fast and complete several iterations of data projects.)

The next step is to deliver project datasets as the data layer is being built. This step addresses several data challenges including evolving requirements, multiple sources, mixed data types, up-to-the-minute data, data outside of the data warehouse, data too large to physically integrate, and data outside the firewall.

Teams also need to prioritize their data virtualization projects based on business value and ease of data virtualization implementation. The greater the business value and implementation ease, the higher the project’s priority. Data virtualization, and the people who implement it, also need to evolve to reuse various data services in the application layer, business layer, and source layer.