什麼是中繼資料管理?
中繼資料管理這個業務學科是指管理與資料有關的中繼資料,為組織中的資訊資產賦予意義並對其進行描述。中繼資料透過提高資料的可用性和可查找性而能充分釋放資料的價值,中繼資料能提供理解和管理您的系統、資料和業務所需的情境脈絡,當使用中繼資料管理時,您可以更輕鬆地查找和使用資料,並為您的業務和 IT 團隊提供所需的關鍵資料脈絡。
中繼資料提供有關資料的基本資訊,包括檔案類型、建立時間、檔案大小、作者等。有幾種不同類型的中繼資料,包括描述類中繼資料、結構類中繼資料、管理類中繼資料、參考類中繼資料、統計類中繼資料,它們都提供有關資料的獨特資訊。您可以用手動或自動方式來建立中繼資料;手動建立的中繼資料可以提供更多細節,而自動建立通常只包含非常基本的資訊。一般來說,資訊資產越重要,管理與它相關的中繼資料就越重要,這是因為您需要更多資訊來判斷如何使用該有價值的資訊資產。如果資訊資產不是那麼重要,就不需要很多中繼資料。
強大的中繼資料管理策略可確保組織在各種系統中的資料都是高品質、一致且準確的,相較於沒有中繼資料管理解決方案的組織,使用完善中繼資料管理策略的組織更有可能根據正確的資料做出理想的業務決策,它是任何資料治理計畫的重要環節。

為什麼組織要記錄和管理他們的中繼資料?
大多數組織的資訊架構類似於一個過度包裝、亂無章法的書店,資料散得到處都是。大多數組織的資料由於沒有妥善組織或分類,因此很難找到他們想要尋找的內容。
這是核心問題,即缺乏資料可查找性,導致失去了資料可用性。而這個問題只會越來越嚴重,僅僅 10 年的時間,組織資料規模就從 GB 跳到 TB 再到 PB 等級。在「資料就是新石油」的時代裡,成功的組織必須能夠找到並使用所有的資料來保持競爭優勢,因此,中繼資料管理的描述性和搜尋功能對於成功查找和使用該資料至關重要。
中繼資料管理也很重要,因為定義可能隨著資訊前後脈絡而改變。看看不同群體如何思考和定義「客戶」一詞,例如,如果您與 IT、銷售或合規部門的人員交談,他們可能對於「客戶」所代表的意涵以及資料儲存方式有不同的觀點或看法。對 IT 而言,他們所關注的客戶相關資料可能是為公司執行分析報告和儀表板、以及儲存該資料的技術方面。如果您要求 IT 定義「客戶」資料的位置,他們可能會回答「它在我們用於報告的企業資料倉儲中,可以追溯到 2015 年。此外我們新收購的資料湖中也有客戶資料,因為這些資料位於資料湖中,所以需要先轉換才能用於報告。」對他們來說,「客戶」資料可能與分析非常相關,或是包含歷史回顧資訊。
您的銷售團隊可能較專注於營運作業,例如他們今天如何在銷售中使用客戶資料。對他們來說,客戶資料可能僅意味著活躍客戶或帳戶級別的客戶資料(例如公司名稱),而不是公司曾經擁有的所有客戶。銷售團隊可能會以公司名稱來稱呼客戶資料,而不是指稱人員級別的資料。合規部門則可能會考慮人員級別的客戶資料,因為他們對資料的主要用途是遵守 GDPR 等法規。
如您所見,挑戰不僅在於有許多個定義,還在於這些不同團隊和流程之間的定義並不一致。此外,資料也在不斷增長,因此您需要能夠找到所需的資料以進行最佳分析。在營運方面,您希望瞭解所有不同的應用程式以及它們從何處獲取資料;在合規性方面,您需要確保組織遵守法律規定;在 IT 方面,主要關注的是如何產生分析和保留歷史記錄。
中繼資料管理允許您為組織的每個部分提供他們需要的中繼資料,以協助他們瞭解和治理您的系統、資料、整個組織,並在整個組織內維持一致的資料看法。這是組織能夠正確執行職能、確保所有人最終都能正確行事的唯一方法。
中繼資料管理使用案例
中繼資料管理可幫助組織中的不同角色回答他們的特定問題,同時確保他們遵守一致的資料看法。
- 分析:為了獲得更深入的分析,使用者可以使用自助服務資料目錄和受管控的工作流程來搜尋、理解及配置資料,以執行他們所需的分析。它可以幫助您回答諸如「什麼是最適合我分析工作的銷售資料集?」之類的問題。
- 營運:為了優化營運,團隊會探索、擷取和管理所有企業中繼資料資產和資料處理歷程,以便提高營運品質。它可以幫助回答諸如「履行客戶訂單涉及哪些系統?」之類的問題。
- 合規性:為滿足監管要求(GDPR、CCPA、BCBS 239 等),您可以透過資料治理功能(包括資料隱私保護)來支持您的循規計畫,使資料治理團隊可以識別關鍵資料元素、文件定義,並回報合規程度。它可以幫助回答「我們在哪裡儲存和處理個人資訊?」這個問題。
中繼資料管理解決方案的功能
完善的中繼資料管理軟體是只用單一解決方案,就能在一個地方擷取和管理您的所有中繼資料。您的解決方案想要尋求的功能應包括:
- 中繼資料管理服務:在一個地方探索、收集和管理所有中繼資料,以獲取業務定義、詞彙表、規則等元素。
- 資料治理解決方案:記錄並支持您的治理策略和法規遵循工作。
- 資料目錄:對包含關鍵資料資產的底層系統的所有物理資料進行編目,以對其進行搜尋、協作和配置存取權。
- 以服務形式提供:100% SaaS 且易於配置。
完善的解決方案將可進行端對端的中繼資料管理,包括:
- 探索和提取:從您的本地或雲端系統中自動收集中繼資料。
- 中繼資料儲存:使用單一中繼資料儲存區來存放所有的業務和技術中繼資料。
- 分類和處理歷程:由機器學習驅動,將中繼資料資產分類為資料元素,並視覺化顯示處理歷程。
- 治理和安全性:商業詞彙、資料治理策略、循規功能,全都整合到一個平台上。
- 搜尋和協作:搜尋整個資料目錄,並可用評論、評級、標籤進行協作。
- 資料品質 KPI:追蹤所有中繼資料的關鍵資料品質指標。
- 整合和配置:以服務形式公開中繼資料,並透過目錄配置資料存取權。

中繼資料管理如何促進協作
如果一個組織想要達到一定程度的資料素養,那麼組織中不同類型的角色就需要緊密協作。資料素養需要集群體之力才能達成,這不是任由個別團隊自行其是、就以為大家可以抵達同一個目的地那麼簡單。您需要一套解決方案來管理這一切,並允許資料管理員與資料使用者進行互動。
讓我們看看不同的團隊如何使用中繼資料管理。例如,治理團隊可能更關心定義和合規性,但他們需要與 IT 團隊攜手合作。而 IT 團隊可能正在對儲存資訊的物理系統進行編目,記錄不同的控制機制以及與該系統有關的安全要求,他們需要與負責管理系統的不同團隊合作,確保團隊都接受有關隱私保護和合規性的培訓,此時他們需要與合規團隊互動。接著,您擁有使用大量資料的分析使用者,他們希望確保自己符合治理策略、遵循安全和 IT 團隊所建立的行動協議。由此可見,所有這些團隊之間需要在不同時間點進行互動。
底線:尋找具有協作治理流程的中繼資料管理解決方案,包括:工作流程、監督管理、版本控制、稽核追蹤。
今天,您的許多中繼資料在眾多應用程式和系統之間都是各自獨立的,這導致中繼資料孤島之間缺乏連結。例如,一些公司會使用一些 ETL 應用程式並相應地儲存其中繼資料;他們也有其他專注於資料治理的應用程式,同樣也相應地儲存這些資料;他們還有用來儲存資料目錄資訊的其他應用程式,這些內容也都單獨儲存著。其實,所有這些資訊都具有關聯性,應該放在同一個地方,然後透過一套完善的中繼資料管理解決方案,來實現更好的整合、一致性和控制力。
中繼資料管理和人工智慧
由於邊緣設備、物聯網和人工智慧的進步,中繼資料管理正在發生轉變,越來越需要使用中繼資料從資料中挖掘額外價值。
中繼資料對生產環境(和生產力)的影響力將越來越多地取決於對其各種類型的分類編目、對應關係、資料建模、機器學習和邊緣運算,能在這些領域成功實施中繼資料的人們,將可從中繼資料管理中受益。
內建的人工智慧 (AI) 和機器學習 (ML) 演算法,有助於對中繼資料進行分類和掌握資料處理歷程(水平、垂直和監管層面),提供您所需的資料前後脈絡、一致性和控制力,以便在所有團隊和部門中實現最高效率、最佳性能和最明智決策。