什麼是可變資料?

可變資料是指可以更改資料的資料庫結構,任何資料的更改都會覆蓋並替換原有的記錄。這意味著除非有一個備份系統和追踪更改的異動日誌,否則將會遺失原有的資料迭代。可變資料庫是以記錄為基礎,因此資料所需的空間有限。

可變資料圖

可變資料庫的類型包括關係資料庫結構、SGL 資料庫和 NoSQL 結構,大部分的傳統資料庫由它們所構成。對於許多組織來說,這是組織當初搭建系統時形成的基礎資料庫,是從資料量較小、儲存成本較高、系統屬於交易性質的時代開始發源的一種傳統模式。

相比之下,不可變資料庫則是越來越普遍的新資料形式。這些資料點不可更改,亦即資料和物件一旦建立後就不應被修改。這些資料庫是以日誌為基礎,並且只在新增資料時才會產生新的儲存空間。此類資料庫可以更靈活地因應現代商業做法,而且現在可以提供大量資料,也能使用經濟實惠的雲端儲存方案。

在商業中使用可變資料的時機?

商業資料庫在使用上,有些資料是可變的。例如,在含有客戶詳細資訊的資料庫中,電話號碼、地址等資訊都是可變資料:當客戶的詳細資訊發生變化時,新的資料便會覆蓋舊的資料。

任何需要更新、更改,而且需要容易符合 GDPR 標準的資料,都屬於可變資料。

此外,想想物聯網(IoT)以及世界上每隻手錶、每台冰箱和每部汽車所產生的海量資料。所有這些資料都是必需的嗎?儲存大量資料會給系統帶來巨大壓力,並且需要強大的處理能力。是否所有這些資料都需要永久儲存,或者只要有新記錄就可將其移除和刪除?

雖然出於服務或維護原因而需要記錄某些資訊,但這些資訊可能只需要儲存 24 小時,或者在新訊息抵達時就能簡單替換成新資訊。例如,記錄到雲端的安全系統通常採取限時計畫,即每 24 小時或每週記錄一次新資料並替換舊資料。這些都是可變資料的一種形式。

O'Reilly 報告:建立整合的數據基礎設施
O'Reilly 報告:建立整合的數據基礎設施
只有三分之一的企業已發展成為數據驅動的機構。解決辦法是什麼?在這電子書尋找答案!

資料庫的 GDPR 要求

在當今以資料為核心的世界中,資料隱私是一項巨大的挑戰。由於系統收集了如此多的個人相關資訊,因此歐洲在制定 GDPR 隱私法時邁出了大膽的一步,明確規範企業應該如何處理哪些資料。

GDPR 第 17 條要求「被遺忘權」。總言之,此立法要求任何擁有歐盟個人資料的公司,必須能在客戶提出要求時,刪除其所有的個人資料。這對於可變資料庫來說很簡單,一旦資料被刪除,它就消失了。

但這會給組織帶來更大的挑戰,因為很多時候不可變資料是必需的。例如某些情況下需要用到歷史資料,像是銀行記錄、醫療記錄和保險資料等。將以前的資料迭代完全刪除可能是災難性的做法。完全刪除可變資料而又缺乏歷史記錄,不僅會導致不合規,還會造成相互操作性方面的嚴重問題。

密鑰銷毀可能是答案

提供密鑰銷毀的金鑰管理服務可用於加密、控制和維持唯一密鑰的安全。它會在資料庫中建立一個加密清單。如果需要忘記某項資料,只要覆寫其加密金鑰,即可斷開與不可變資料的連結。這個技術也可應用在更精細的層級上,只忘記某些級別或欄位的客戶資料。這意味著不可變資料和可變資料都可以使用同一種工具來進行管理。

這是企業滿足 GDPR 要求並解決可變資料挑戰的方法之一。

可變資料的好處

快速而簡單

因為只是單純將一種格式的資料替換成另一種,所以資料表格不會變大,這意味著資料的叫用速度可以很快,並將一直如此快速。由於只有一份資訊副本,因此複雜性也較低。

硬體要求較低

由於資料不會擴增,而是被替換,因此不需要更多的硬體。可變資料不像不可變資料那樣擁有較高的儲存需求。

遵守 GDPR

根據歐盟法律規範,可變資料是高度合規的。一旦移除以前的資料迭代,資料本身就很容易被忘記。

可變資料的挑戰

沒有歷史脈絡

一旦對可變資料進行更改,除了返回以前的迭代或備份之外,就不容易存取以前的資料。只要可變資料發生改變,所有以前的資料都會遺失。

解決方法:可以保留以前的資料備份做為歷史資料來源。然而,完整複製資料庫會帶來儲存問題,也不符合 GDPR 法規。對備份進行密鑰銷毀可以解決這個問題,但這是一項額外程序,會增加所有業務功能的成本和時間。

備份要求

傳統的可變資料庫需要透過備份來維護資料庫歷史,視業務需求而定,備份頻率可能是每週、每天甚至每小時一次。這不僅會成為 IT 管理負擔,還會增加達成某項業務功能的時間、成本和複雜性,最終卻可能發現這些投入只是多此一舉。

解決方法:雖然對備份的需求仍然存在,但還可以使用區塊鏈技術之類的雲端儲存選項,讓組織得以透過複合式結構,運用一定範圍的外部電腦和系統上的可用空間來儲存資料,從而最大限度地減少對基礎架構的投資需求。

缺乏可稽核性和業務分析

許多行業都需要進行資料稽核,沒有歷史資料將會影響業務的可稽核性,因而難以或不可能符合業務標準。

這會產生流動效應,失去可能對業務分析很重要的資料。隨著以前的資料完全消失,人工智慧便沒有機會使用該資料,並評估其中所含的有用資訊。

解決方法:可以定期建立可供存取的備份以保持業務完整性。

客戶服務變差

如果資訊改變且棄用了以前的資料,可能會在客戶服務方面帶來挑戰。簡單來說,如果有人改名了,但身份證明文件上使用的名字不同,那麼您要如何確定他們就是同一人?刪除以前的名稱迭代之後,就無法返回確認這兩個客戶是否為同一人了。

從更大、更重要的層面來看,醫療保健資料庫就不可以是可變的。以前的看診、預約、診斷和藥物等資料,都需要一直保持有效狀態且可供存取。

解決方法:某些資料庫必須是不可變的。雖然這會對自身造成挑戰,但對於醫療保健等某些行業來說,可變資料庫可能是災難性的選擇。

現代化您的數據和分析架構
現代化您的數據和分析架構
查看這 13 個用例,以了解怎樣支援當今複雜的數據和分析環境。

可變資料系統的未來

可變資料系統的使用限制,意味著它們可能慢慢被不可變資料系統所取代。缺乏連續性,代表可變資料系統根本無法用於醫療保健和保險等一系列行業。但是想要擁有一套完全不可變的系統,必須先滿足一系列條件。

不可變資料系統所面臨的兩大挑戰是,它們需要額外的儲存空間和硬體,以及它們不容易滿足 GDPR 的合規性要求。

為了克服這一點,未來的資料庫可能是完全不可變的,但會使用密鑰銷毀技術來確保資料的隱私權要求,再利用可行的區塊鏈技術進行儲存,這或許可以克服不斷增長的資料庫所帶來的儲存和硬體問題。

這些解決方案將共同創造一個具有全部歷史完整性的資料庫,能夠符合目前法規要求的安全性和保護力。