在當前日益增長的資料需求下,如何高效管理、保護和充分發揮資料價值成為業界迫切需要解決的問題。本文將探討資料治理與資料中台的角色定位差異、互補關係,並提出對資料治理及資料中台工具的評估要點建議,以引領企業邁向更強大的資料生態。
在當前日益增長的資料需求下,企業正面臨著巨大的挑戰,如何高效管理、保護和充分發揮資料價值成為業界迫切需要解決的問題。資料治理和資料中台,作為兩個不可或缺的概念,在這個資料驅動的時代嶄露頭角。本文將探討資料治理與資料中台的角色定位差異、互補關係,並提出對資料治理及資料中台工具的評估要點建議,以引領企業邁向更強大的資料生態。
資料治理的角色定位
資料治理旨在確保企業內的資料資產維持高品質、一致性、安全性以及合規性。它涉及元資料管理、資料品質管理、資料安全管理、資料標準管理等核心需求。資料治理的目標是在組織層面建立統一的資料標準和政策,以確保資料在整個生命週期內得到有效管理和合理利用,並能落實在日常營運之中。
資料治理本身即為含有技術成分的管理議題,因此必須在組織規範面、作業流程面,及技術執行層面都進行相關之優化調整。就組織面來說,需要依照組織特性安排相關資料治理單位之權責,包括資料使用者、資料管理員、資料擁有者、資料保管者等,讓各單位依據職責來監督資料流動,確保資料使用的合法性,同時處理資料品質問題,確保內外部的資料流通是可信的。
作業流程面而言,則分為資料品質管理流程、資料治理流程,及元資料處理流程,資料治理的合作單位較多,為了要能使各單位協作順利,除了導入作業規範外,更須引入專業系統平台,以提升作業效率、避免作業疏失。
技術執行層,建置系統平台更是資料治理能否「落地」的關鍵。缺乏系統輔助時:
1.元資料常無法集中儲存維護並疏於更新。
2.資料血緣無法真實記錄資料轉換邏輯,下游資料出問題時很難查找問題根源。
3.資料品質沒有持續系統化之檢核紀錄,造成應用價值無法判斷。
4.資料治理相關同仁無共通平台進行協同作業,讓資料治理流於空談。
資料中台的角色定位
與資料治理不同,資料中台更注重內部統一的資料庫或資料湖倉、中介平台的建設,透過整合、儲存和管理資料,構建高度標準化和可擴展性的資料基礎設施。資料中台的目標是打破資料孤島,實現資料的共享與再利用,提升企業內部資料的價值。
在資料中台體系中,包含資料湖、資料倉儲、資料平台等概念,其核心是消融資料各自為政之業務疆界,形成統一集中的資料資源庫,以服務形式提供資料,因此需要能供給現今系統所常需之API服務,也需要能協助企業內部的業務部門和資料科學家,能更輕鬆地獲取所需資料,進行深度分析和挖掘。
資料治理與資料中台的互補關係
儘管資料治理和資料中台在角色定位上存在差異,但實際上它們是相輔相成的,並且進入高度治理及資料應用需求更高之場景時,兩者進行整合之需求更益發凸顯。資料治理提供了一個框架,確保資料的品質、安全和合規,為資料的合理運用打下基礎。而資料中台則作為資料服務平台,促進資料的集成和流通,在資料治理的基礎之上提供品質佳、彈性即時的資料服務。
舉例來說,在資料治理中,資料品質管理是一個重要面向。資料治理透過建立資料品質標準和監控機制,確保資料的正確性和可信度。而資料中台提供了資料整合的技術手段,將來自不同業務單元的資料整合在一起,有助於消除重複資料、矛盾資料,提高整體資料品質。
此外,資料治理還涉及到資料的隱私和合規管理。在這一方面,資料治理可以制定相應的政策和流程,確保資料的使用是符合法規要求的。而資料中台則可以透過權限控制、資料加密等技術手段,實現對敏感資料的保護,確保資料在整個生命週期中都處於受控的狀態。
未來整合的趨勢
未來,資料治理和資料中台將更加緊密地結合,共同構建更為完善的資料生態。以下是未來整合的趨勢:
1.資料治理智慧化:資料治理將更多地依賴人工智慧和機器學習技術,實現自動化的資料品質管理、風險預測等功能。
2.資料中台的擴展:資料中台的範疇將不僅僅局限於企業內部,還可能擴展到跨企業的資料共享平台,跨更多不同業務領域時,則更需要資料治理機制的支援。
3.資料治理在資料中台中的嵌入:資料治理的概念和流程將更加緊密地嵌入到資料中台的建設中,尤其是在元資料管理及資料品質管理這兩方面,以實現更全面的資料管理。
4.全方位的資料價值發掘:資料治理和資料中台的協同作用將有助於企業全方位、深度挖掘資料的價值,提高企業競爭力。
運用資料虛擬化建構資料中台
在資料中台暨治理解決方案中,目前受重視之工具即為資料虛擬化平台及治理平台。資料中台區塊,虛擬化平台能做為跨多個不同資料源的橋樑,將關鍵的決策數據匯集到一個虛擬位置以推動分析。
資料虛擬化提供了一個現代數據層,使用者能夠以突破性的速度和成本效益存取、組合、轉換和交付資料集。資料虛擬化技術能夠幫助使用者縮減實體倉儲儲存及提取/轉換/加載(ETL)的時間、空間及人力成本,快速存取整個企業中的資料,包括傳統資料庫、大數據以及雲和物聯網系統中的資料。
而在治理面,資料治理與運用平台(Data Management Platform)能針對資料管理生命週期各階段對應所需之管理功能,包括元數據管理、資料品質管理、使用者資料自助擷取、資料安全、資料使用相關稽核紀錄等,將資料治理及運用之需求統一實現。
結語
資料治理和資料中台作為資料管理的兩大支柱,在協同作用下有望建立更加強大、智慧化的資料生態。企業在這個過程中,除了理解它們各自的角色定位和互補關係外,還需要謹慎選擇相應的資料治理及資料中台工具,從而實現更高效、安全、智慧的資料管理和應用。隨著未來的發展,資料治理與資料中台的整合將為企業帶來更廣闊的發展空間,助力資料驅動時代的優化和創新。
<本文作者:李柔現為叡揚資訊整合平台服務處資深經理>