什么是数据虚拟化?

数据虚拟化 软件作为跨越多种多样数据源的桥梁,将关键决策数据集中在一个虚拟的地方,以促进分析。

数据虚拟化提供了一个现代化的数据层,使用户能够以突破性的速度和成本效益存取、合并、转换和交付数据集。数据虚拟化技术使用户能够快速存取整个企业中存储的数据—包括传统数据库、大数据源、云和物联网系统—只需物理仓储和提取/转换/加载 (ETL) 的时间和成本的一小部分。

数据虚拟化提供了随时存取数据以便快速分析

借助数据虚拟化,用户可以在最新的数据更新中应用一系列分析—包括可视化分析、预测分析和流分析。通过集成治理和安全性,数据虚拟化用户可以确保其数据一致性、高质量和受保护。此外,数据虚拟化允许更多业务友好型数据,将本机 IT 结构和语法转化为易于理解的由 IT 组织的数据服务,而这些服务易于通过自助服务业务目录查找和使用。

数据虚拟化支持多条业务线、数以百计的项目和成千上万的用户,可以从项目规模扩展到企业规模。

关于数据虚拟化,您需要了解的十件事
关于数据虚拟化,您需要了解的十件事
了解有关数据虚拟化的核心真相,以便克服数据瓶颈并取得更好的成果。

通过数据虚拟化软件虚拟化的常见数据源

  • 打包的应用程序
  • 关系型数据库管理系统(RDBMS)
  • Excel & 平面文件
  • 数据库
  • 数据湖
  • 大数据
  • XML 文档
  • 云数据
  • 网络服务
  • 物联网数据

用于数据虚拟化的常见系统

  • 甲骨文
  • SQL 服务器
  • 天睿资讯
  • Netezza
  • DB2
  • Hive
  • Impala
  • Sharepoint
  • Excel
  • 平面文件
  • 亚马逊 Redshift
  • 谷歌大查询
  • 星火
  • Drill
  • REST
  • oData

数据虚拟化系统应具备的四大功能

通过数据虚拟化来满足紧急业务需求所需的四个组件

敏捷设计和开发: 您需要能够根据需要反省可用数据、发现隐藏关系、为单个视图/服务建模、验证视图/服务以及进行修改。这些功能可自动执行困难的工作,缩短解决方案的时间,并增加对象重复使用。

高性能运行: 应用程序调用请求,优化查询执行单个语句,并以正确的格式传送结果。此功能允许获得最新数据、优化性能和减少复制。

适当时使用缓存: 缓存基本数据、应用程序调用请求、执行优化查询(利用缓存的数据),并以正确的格式传送数据。此功能可提高性能,避免网络限制,并允许全天候的可用性。

使数据易于查找的商务目录/目录: 此功能包括搜索和数据分类、浏览所有可用数据、从视图目录中进行选择以及与 IT 部门协作以提高数据质量和实用性等。此功能为商业用户提供更多数据,提高 IT/商务用户效率,并使数据虚拟化得到更广泛的采用。

有哪些数据虚拟化用例?

  • 分析用例
    • 物理数据集成原型制作
    • 用于分析的数据存取/语义层
    • 逻辑数据仓库
    • 数据准备
    • 移动数据的监管限制
  • 运营用例
    • 抽象数据存取层/虚拟运营数据存储 (ODS)
    • 注册表风格的主数据管理
    • 旧系统迁移
    • 应用数据存取
    • 移动数据的监管限制
  • 新兴用例
    • 云数据共享
    • 物联网集成中的边缘数据存取
    • 数据中心启动
    • 数据和内容集成
    • 移动数据的监管限制

数据虚拟化的好处

业务价值加速: 分析应用程序可以更快地应用,并且随着变化的发生,可以更快地获得更大的价值

业务洞悉改进: 更完整、最新、易于存取和理解数据,所需的工作量比 ETL 更少

开发成本规避: 可重复使用的数据服务以及交互式开发和验证可提高质量并避免重做新项目

降低数据管理基础架构成本: 降低基础架构成本,减少购买和折旧软件许可证,从而降低了支持和维护成本

各行业如何使用数据虚拟化?

  • 通信及技术
    • 差异化市场研究服务
    • 增加每位客户的收入
    • 构建虚拟客户数据湖
    • 实现领先型创新
    • 为计费和营销创建实时操作数据存储 (ODS)
    • 优化客户关怀
    • 管理客户权利
    • 提高客户洞察力
  • 能源
    • 优化上游能源生产
    • 改善油井的维护和维修
    • 分析离岸平台数据
    • 优化跨炼油厂流程
    • 提供 SAP 主数据质量
  • 金融服务
    • 管理固定风险收入
    • 改善贸易对账
    • 加快新客户入门
    • 解决抵押贷款数据的复杂性
    • 丰富现金管理客户
    • 增强数据民主性
  • 政府
    • 保护环境
  • 医疗
    • 推动新产品创新
    • 加快企业并购协同效应
    • 提供更高效的索赔分析
    • 改善患者护理
  • 制造
    • 优化全球供应链
    • 优化工厂和物流
    • 通过数字化进行区分
    • 提高 IT 资产利用率

数据虚拟化入门

数据虚拟化的最高价值实施是一个高速的虚拟化数据层。这样一个层可以实现强大的管理和治理,同时还提供对关键数据的自助访问,对其进行规模组织,并以经济高效的方式将其提供给应用程序和分析系统。

但是,大多数数据虚拟化实施从小规模开始并扩展。一种常见的开始方法是由一个小而专注的团队负责一个或多个项目。小型团队可以是多面手,同时也能接受一些不确定性(团队必须敏捷才能快速前进并完成数据项目的多次迭代。)

下一步是在构建数据层时交付项目数据集。此步骤解决了若干数据挑战,包括不断变化的需求,多个来源的混合数据类型、最新数据、数据仓库外部的数据、太大而无法通过实体集成的数据以及防火墙外的数据。

团队还需要根据业务价值和数据虚拟化实施的便利性来确定数据虚拟化项目的优先级。业务价值和实施便利性越高,项目的优先级就越高。数据虚拟化以及实施数据虚拟化的人员也需要进一步发展,以便在应用层、业务层和源层重复使用各种数据服务。

Data Virtualization Use Cases
Modernize Your Data and Analytics Architecture
Check out these 13 use cases to learn how to support today’s complex data and analytics landscape.

How do various industry sectors use data virtualization?

  • Communications & Technology
    • Differentiating market research services
    • Increasing revenue per customer
    • Building a virtual customer data lake
    • Enabling leading-edge innovation
    • Creating a real-time ODS for billing and marketing
    • Optimizing customer care
    • Managing customer entitlements
    • Improving customer insights
  • Energy
    • Optimizing upstream energy production
    • Improving well maintenance and repair
    • Analyzing offshore platform data
    • Optimizing cross-refinery processes
    • Providing SAP master data quality
  • Financial Services
    • Managing fixed-risk income
    • Improving trade reconciliation
    • Accelerating new client onboarding
    • Addressing mortgage data complexity
    • Enriching cash management clients
    • Empowering data democracy
  • Government
    • Protecting the environment
  • Healthcare
    • Driving new product innovation
    • Accelerating M&A synergies
    • Providing more efficient claims analysis
    • Improving patient care
  • Manufacturing
    • Optimizing a global supply chain
    • Optimizing factories and logistics
    • Differentiating via digitization
    • Improving IT asset utilization

Getting Started with Data Virtualization

The highest value implementation of data virtualization is a high-speed, virtualized data layer. Such a layer allows for robust management and governance, while also delivering self-service access to critical data, organizing it for scale, and making it available in a cost-effective manner to applications and analytics systems.

However, most data virtualization implementations start small and expand. A common way of starting is with a small and focused team charged with one or more projects. A small team can be versatile while also accepting some uncertainty. (Teams must be agile to move fast and complete several iterations of data projects.)

The next step is to deliver project datasets as the data layer is being built. This step addresses several data challenges including evolving requirements, multiple sources, mixed data types, up-to-the-minute data, data outside of the data warehouse, data too large to physically integrate, and data outside the firewall.

Teams also need to prioritize their data virtualization projects based on business value and ease of data virtualization implementation. The greater the business value and implementation ease, the higher the project’s priority. Data virtualization, and the people who implement it, also need to evolve to reuse various data services in the application layer, business layer, and source layer.