什么是可变数据?

可变数据是指其中数据可更改的数据库结构。所做的任何数据更改都仅覆盖并替换以前的记录。这意味着,除非有跟踪更改的系统备份和事务日志,否则以前的迭代数据将丢失。可变数据库是基于记录的,因此数据的空间有限。

可变数据图

可变数据库的类型包括关系数据库结构、SGL 数据库和 NoSQL 结构。它们构在传统数据库中占大多数,并且对于许多组织来说,这也是组织设置系统时形成的基本数据库。它们成为传统方法,因为它们起源于数据量更小、存储成本更高,系统具有事务性的时代。

相比之下,不可变数据库是较新的数据形式,变得越来越常见。数据点是不可更改的;它假定数据和对象一旦创建就不应修改。这些数据库是基于日志的,只需在出现额外数据时为其创建新空间即可。这些数据库更加灵活,可以满足现代商业惯例、目前可用的海量数据以及基于云的存储的可承受性。

何时在业务中使用可变数据?

业务中使用的一系列数据库是可变的。例如,在客户详细信息数据库中,可变数据是电话号码和地址等信息:当客户的详细信息更改时,新的详细信息将覆盖旧的详细信息。

任何需要更新、更改并且需要易于遵守 GDPR 标准的数据库都将具有可变数据。

另外,想想物联网(IoT)以及世界上每只手表、冰箱和汽车产生的庞大数据量。所有这些数据都是必需的吗?存储大量数据会给系统带来巨大压力,并且需要强大的处理能力。所有这些数据是否都需要永久存储,或者是否可以在新记录出现后将其清除和删除?

虽然有些信息出于服务或维护原因需要记录,但有些信息可能只需要存储 24 小时,或者在出现新信息时直接进行替换。例如,记录到云中的安全系统的计划通常有限,即每24小时或每周记录一次新数据并替换旧数据。这些是可变数据的一种形式。

O'Reilly 报告:构建统一的数据基础架构
O'Reilly 报告:构建统一的数据基础架构
只有三分之一的企业发展成为数据驱动型组织。解决方案是什么?在这本电子书中找到答案!

数据库中的 GDPR 要求

在当今以数据为中心的环境下,数据隐私是一项巨大的挑战。由于收集了如此多与人相关的信息,欧洲 GDPR 隐私法做出了大胆的决定,对企业使用这些数据的方式和用途进行了立法。

GDPR 第 17 条要求行使“被遗忘的权利”。总而言之,该立法要求任何拥有欧盟个人数据的公司都必须能够应客户的要求删除所有个人数据。这对于可变数据库来说很简单;信息一旦删除,就会消失。

但这给组织带来了更大的挑战,因为经常需要用到不可变的数据。在某些情况下,需要用到历史数据,例如银行记录、医疗记录和保险数据。删除之前的数据迭代可能会带来灾难性的后果。通过完全删除可变数据而缺少历史记录不仅会导致不合规,而且还会给互操作性带来巨大问题。

加密去除可能是解决方法

加密去除密钥管理服务用于加密、控制和保护唯一密钥的安全。它会在数据库中创建一个加密列表。如果需要忘记数据,加密将被覆盖,从而断开与不可变数据的关联。这也可以在粒度级别实施,只需忘记客户数据的某些级别或字段。这意味着不可变和可变数据都可以用同一个工具进行管理。

这是企业满足 GDPR 要求并应对可变数据挑战的方法之一。

可变数据的好处

快速简便

因为一种数据形式只是替换另一种形式,所以数据表不会变得更大。这意味着数据的调用速度很快,而且会保持不变。由于只有一个信息副本,因此复杂性也较低。

硬件要求较低

由于数据不会扩展,只是进行替换,因此不需要更多的硬件。可变数据不需要不可变数据那样的高存储需求。

GDPR 合规性

根据欧盟法律和法规,可变数据是高度合规的。先前的信息迭代会被删除,而且数据很容易被遗忘。

可变数据的挑战

过往信息丢失

一旦对可变数据进行了更改,除了返回到以前的迭代或备份之外,再也无法轻松访问以前的数据。当可变数据发生更改时,所有先前的信息都将丢失。

解决方案:以前的数据备份可以作为历史数据的来源保留。但是,获取数据库的完整副本会带来存储问题,也不符合 GDPR 法律。备份的加密去除可以解决这个问题,但这是一个额外的过程,它会增加所有业务职能部门的成本和时间。

备份要求

为了维护数据库历史,需要备份传统的可变数据库。根据业务的不同,这可能需要每周、每天甚至每小时进行备份。这不仅成为 IT 管理的负担,而且还会增加时间、成本和业务功能的复杂性,最终可能会变得冗余。

解决方案:尽管备份需求依然存在,但还可选择云存储,例如区块链技术,组织可以利用使用一系列外部计算机和系统上的可用空间来存储数据的复杂结构,从而最大限度地减少对基础设施投资的需求。

缺乏可审计性和业务分析

许多行业都面临数据审计。没有过往信息会影响业务的可审计性,使企业难以或不可能遵守业务标准。

这会产生流动效应,丢失可能对业务分析很重要的数据。随着以前的数据就这样消失,人工智能就没有机会使用信息并评估信息是否有用。

解决方案:可以定期创建可访问的备份,以保持业务完整性。

客户服务变差

如果信息更改了,过往数据也丢弃了,就可能会给客户服务带来挑战。简单来说,如果某人更改了姓名,但身份证明使用的是不同的姓名,您如何确认他们是同一个人?删除以前的名称迭代后,无法回去确认这两个客户是同一个人。

从影响范围和重要程度来看,医疗保健数据库不能是可变的。以前的就诊、预约、诊断和药物都需要保持活跃和可访问性。

解决方案:有些数据库显然必须是不可变的。尽管这本身就带来了挑战,但对于医疗保健等某些行业来说,可变数据库可能是灾难性的。

现代化您的数据和分析架构
现代化您的数据和分析架构
查看这 13 个使用案例,了解如何支持当今复杂的数据和分析局面。

可变数据系统的未来

可变数据系统的局限性可能意味着它们将被不可变数据系统慢慢取代。缺乏连续性意味着可变数据系统根本无法在医疗保健和保险等一系列行业中使用。但是,必须满足一系列条件才能拥有一个完全不可变的系统。

不可变数据系统面临的两大挑战是它们需要额外的空间和硬件,以及它们不容易遵守 GDPR 的规定。

为了克服这个问题,将来的数据库可能是完全不可变的,但要使用加密去除来确保满足数据隐私要求。然后,利用区块链技术进行存储的架构的可能性可以克服不断增长的数据库造成的存储和硬件问题。

这些解决方案共同创建了一个具备完整历史数据的数据库,以及现行法规所要求的安全性和保护措施。