什麼是數據整合?
數據整合是匯集來自不同來源的數據,為用戶提供整合視圖的過程。數據整合的前提是讓數據更自由地獲取,並讓系統和用戶更容易使用和處理。正確完成的數據整合可以降低資訊科技成本、釋放資源、提高數據品質和促進創新,也無需徹底更改現有應用程式或數據結構。儘管資訊科技機構經常需要執行整合,但這樣帶來的回報,可能從未像現在這樣巨大。
具有成熟數據整合能力的公司,在競爭中具有顯著優勢,其中包括:
- 透過減少手動轉換和組合數據集的需要,從而提高運營效率
- 將業務規則應用到自動化數據轉換上,提升數據品質
- 透過更容易分析的整體數據視圖,建立更具價值的見解
數位業務是圍繞數據和處理數據的演算法而建立的,可以隨著有需要時,在整個業務生態系統的任何地方,從它的資訊資產中,提取最大價值。在數位業務中,數據和相關服務,在整個資訊科技環境中暢通無阻,並安全地流動。數據整合可以提供一個機構內資訊流的全視圖,並為您的分析準備數據。

數據整合的發展
數據整合的範圍和重要性已經完全改變,我們現今透過利用標準軟體即服務應用程式來增強業務能力,同時繼續開發定製的應用程式。現在向客戶公開的有關機構服務的資訊與服務本身一樣重要,以合作夥伴的豐富的生態系統,準備利用機構的資訊。現在,整合軟體即服務、定製和合作夥伴應用程式,以及其中包含的數據,為一項基本要求。最近有一家機構以獨特的方式來組合業務能力,來為自己與其他巿場競爭者作區隔。例如,許多公司正在分析動態和靜態數據,使用他們的發現來建立業務規則,然後應用這些規則以更快地回應新數據。此類創新的典型目標,是為了更緊貼用戶體驗和提升的業務運營。
數據整合是怎樣運作的?
機構面對最大挑戰之一,是嘗試讀取和理解那些描述其運營環境的數據。機構每天以各種格式,從大量數據源中,擷取越來越多數據。而機構需要一種讓員工、用戶和客戶從這些數據中獲取價值的方法。這表示機構需要能夠不管相關數據在何處,都能集合相關數據,以支援機構報告和業務過程。
但是,所需的數據通常分佈在各個應用程式、數據庫和其他託管在在地、雲端、物聯網設備或透過第 3 方提供的數據源中。機構不再只在單一數據庫中維護數據,而是透過多個來源維護傳統主要和交易數據,以及新類型的結構化和非結構化數據。例如,機構可能將數據儲存在平面檔中,或者可能希望從 Web 服務存取數據。
傳統的數據整合方法,被稱為實體數據整合方法。這涉及將數據從其原始系統,實體地移動到暫存區,在數據實體移動到目標系統(例如數據倉庫或資料市集)之前,在該暫存區進行清理、映像和轉換。另一種是數據虛擬化方法,這種方法涉及使用虛擬化層連接到物理數據儲存。這與物理數據整合不同,數據虛擬化涉及建立基本物理環境的虛擬化視圖,而無需實體移動數據。
常見的數據整合技術是萃取、變換及載入 (ETL) ,其中從多個原始系統實體地萃取數據,變換為不同的格式,然後加載入集中化資料儲存裡。
改進簡單整合的考量
實施數據整合技術所獲得的價值,首先是不再需要手動整合數據的成本。還有其他好處,包括避免為整合而定制編碼的縮減。機構應該盡可能使用供應商提供的整合工具,而不是定制整合編碼,這樣做的原因是 a) 提高數據品質 b) 最佳化績效 c) 節省時間。
機構透過在整合成熟度路線圖,增加以下額外目標,可以獲得更大的價值:
簡化開發
選擇讓您可以建立格式目錄和替換過程的一種解決方案,以供重用,尤其是非功能性過程,例如登入和重試等。即時測試任何整合邏輯能力,也將大幅減少實施和維護所需的時間。
設置
數據整合過程被配置為連接應用程式和系統,這些配置需要立即反映任何更改,確保使用正確的系統,並在各種環境(開發、測試、品質保證和生產)中廣傳更改。大多數機構報告顯示,在他們的整合發展環境(IDE)中,仍然手動更改配置參數。這是一個成本很高的人工過程,還可能涉及破壞整合邏輯。更好的替代方法是,存取和管理腳本或部署介面的變數,以允許完全自動化部署,從而縮短項目持續時間。
測試
測試是數據整合開發的核心,它驗證數據整合技術和目標系統,因此當開發人員建立或更新邏輯時,應立即執行。但是,很明顯地,大多數機構必須在測試之前部署過程,而導致延遲。整合發展環境的允許立即調試功能,大幅縮短了整合過程的開發。此外,由於某些數據整合過程非常關鍵,因此它們需要在非常類似於生產環境的環境中進行測試,並且需要對它們的更新進行非迴歸測試,而此測試需要編寫測試場景。許多機構必須在整合過程邏輯和擷取結果的探針之上,開發此邏輯,這增加了開發持續時間和成本。使用應用程式介面(API)注入數據,並記錄測試場景或整合測試解決方案,可以顯著縮短項目持續時間。
建立通用數據模型
除了限制技術之外,構建通用數據模型可以簡化未來的整合,因為所有整合過程都將使用相同的語言。業務也將因為可以輕鬆建立涉及業務對象的服務和事件以得到幫助,而接收正確的事件,可提供提高業務的可見性。
利用過去投資來節省
許多遺留應用程式仍然是業務過程的重要組成部分,保存著需要與您環境中的所有其他系統整合的重要數據。儘管它們的核心業務功能提供可以在其他服務中重用的重要資產,但它們許多的組件和功能,已被其他應用程式取代。數據整合可以幫助您將舊系統中的數據,注入到更現代的環境中。
數據整合通常被用作更多數據處理(尤其是分析)的先決條件。您需要將數據整合在一起,以促進分析報告,為用戶提供一份完全和整合的視圖,顯示所有流經他們機構的資訊。數據整合的一個真正類比,是建立一次和使用多次。例如您不想手動將訂單輸入到一個系統中和希望輸入一次,並讓一個系統將其傳遞給另一個系統 - 這是數據整合的主要價值。
