什么是数据集成？
数据集成是将来自不同来源的数据汇集在一起以便为用户提供统一视图的过程。数据集成的前提是使数据更加自由地获取，更易于系统和用户使用和处理数据。正确完成的数据集成可以降低 IT 成本、释放资源、提高数据质量和促进创新，而无需对现有应用程序或数据结构进行全面更改。尽管 IT 组织总是不得不进行集成，集成的回报可能从未像现在那样巨大。
拥有成熟数据集成能力的公司比竞争对手具有显著优势，其中包括：
- 通过减少手动转换和合并数据集的需要，提高了运营效率
- 通过将业务规则应用于数据的自动化数据转换提高数据质量
- 通过可以更容易分析的数据的整体视图，开发更有价值的见解
数字商务是围绕数据和处理数据的算法构建的，它可以在任何需要的时间从业务生态系统中的任何地方从信息资产中提取最大价值。在数字商务中，数据和相关服务畅通无阻但安全地在整个 IT 环境中流动。数据集成使我们能全面了解组织中流动的所有信息，并为数据做好分析准备。
数据集成的演变
数据集成的范围和重要性已经完全改变。今天，我们通过利用标准软件即服务应用程序来增强业务能力，同时继续开发自定义应用程序。随着丰富的合作伙伴生态系统随时可以利用组织的信息，因此，向客户公开有关组织服务的信息与服务本身一样重要。今天，集成软件即服务、自定义和合作伙伴应用程序及其中包含的数据是一项必要条件。如今，一个组织通过以独特的方式组合业务能力而脱颖而出。例如，许多公司正在分析动态数据和静态数据，利用他们的发现创建业务规则，然后应用这些规则来更快地响应新数据。此类创新的典型目标是提高用户体验和改善业务运营。
数据集成如何运作？
组织面临的最大挑战之一是尝试访问和理解描述其运营环境的数据。每天，组织都会从更多的数据源中以各种格式捕获越来越多的数据。组织需要一种让员工、用户和客户从数据中获取价值的方法。这意味着，为了支持组织报告和业务流程，组织必须能够将相关数据汇集在一起，无论其位于何处。
但是，所需的数据通常分布在本地、云端、物联网设备上或通过第三方提供的应用程序、数据库和其他数据源之间。组织不再只是在一个数据库中维护数据，而是在多个来源中维护传统的主数据和交易数据以及新类型的结构化和非结构化数据。例如，组织可以在平面文件中有数据，也可能希望从网页服务中访问数据。
传统的数据集成方法被称为物理数据集成方法。这涉及将数据从源系统实际移动到暂存区域，这里，在数据被物理移动到目标系统（例如，数据仓库或数据市集）之前，进行清理、映射和转换。另一种选择是数据虚拟化方法。这种方法涉及使用虚拟化层连接到物理数据存储。与物理数据集成不同，数据虚拟化涉及创建底层物理环境的虚拟化视图，而无需数据的物理移动。
一种常见的数据集成技术是提取转换和加载 (ETL)，其中数据从多个源系统物理提取，转换为不同的格式，然后加载到集中式数据存储中。
改进简单集成的注意事项
实施数据集成技术的价值首先是，不再需要手动集成数据的成本。还有其他好处，包括避免为集成进行自定义编码而缩减。组织应尽量使用供应商提供的集成工具，而不是编写自定义集成代码。原因是 a) 提高数据质量 b) 获得最佳性能 c) 节省时间。
通过在集成成熟度路线图中增加以下额外目标，组织可以获得更大的价值：
简化开发
选择一种允许您创建格式和子流程目录以供重复使用的解决方案，尤其是日志记录、重试等不起作用的流程。动态测试任何集成逻辑的能力也将大大减少实施和维护所需的时间。
配置
数据集成过程配置为连接应用程序和系统。这些配置需要立即反映任何更改，确保使用正确的系统，并在各种环境（开发、测试、质量保证和生产）中传播更改。大多数组织报告说，他们仍在其集成开发环境 (IDE) 中手动更改配置参数，这是一个昂贵的人工过程，可能还涉及篡改集成逻辑。更好的替代方案是访问和管理脚本或部署界面中的变量，允许完全自动部署，从而缩短项目持续时间。
测试
测试是数据集成开发的核心。它会验证数据集成技术和目标系统，因此一旦开发人员创建或更新逻辑，就应立即执行该技术。但是，很显然，大多数组织必须先部署流程才能进行测试，这会导致延迟。允许立即调试的集成开发环境大大缩短了集成过程的开发。此外，由于某些数据集成过程非常关键，因此需要在像生产环境这样的环境中进行测试，而且对它们的更新需要进行非回归测试。此测试要求编写测试场景。许多组织必须在集成流程逻辑以及捕获结果的探测上开发这种逻辑。这增加了开发持续时间和成本。使用 API 注入数据和记录测试场景，或者使用集成测试解决方案，可以显著缩短项目持续时间。
建立通用数据模型
除了限制技术之外，构建通用数据模型可以使将来的集成更容易，因为所有集成过程都将使用相同的语言。企业也将获得帮助，因为可以轻松创建涉及业务对象的服务和事件，而接收正确的事件可提高业务知名度。
利用过去的投资节省开支
许多传统应用程序仍然是业务流程的重要组成部分，并保存着需要与环境中所有其他系统集成的重要数据。尽管它们的核心业务功能为在其他服务中重复使用提供了巨大的资产，但其中的许多组件和功能已被其他应用程序所取代。数据集成可以帮助您将传统系统中的数据注入到更现代的环境中。
通常，数据集成被用作进一步处理数据的先决条件，最明显的是分析。您需要将数据汇集在一起，以便进行分析报告，并为用户提供全面、统一的视图，了解通过其组织流动的所有信息。数据集成的一个真正类比是一次创建并多次使用。例如，您不希望手动将订单输入到一个系统中。你想输入一次，然后让一个系统将其传递给另一个系统-这是数据集成的主要价值。
