如何把握數據治理項目啟動的最佳時機
如何把握數據治理項目啟動的最佳時機
原創： 易連成 郭文龍 數據工匠俱樂部
加入「ICT銷售和大客戶聯盟」（微信ID：ICT-League），尋找志同道合的小夥伴！
您的關注就是我們最大的動力，這裡有大量企業家高凈值粉絲，每天分享最新商業資訊、趨勢、深度好文、把握財經動態。喜歡學習和閱讀的朋友請關注我，文章每天都會更新，歡迎轉發閱讀！
引言
如今，大數據正在社會的各行各業發揮著越來越重要的作用，數據已成為企業的核心資產和重要戰略資源，是重要的生產因素。在數據驅動的信息化時代，企業只有將核心業務數據更好地掌握在手中，才能從中萃取更大的業務價值，進而優化產品管理，拓展市場新渠道，打造企業核心競爭力，而數據治理就是挖掘這些價值的重要手段和工具。對於企業而言，為什麼要開展數據治理？何時啟動數據治理項目？如何實施數據治理？在理清這些問題的前提下，藉助端對端的數據治理，引領企業加快數字化轉型，從而獲取最大限度的價值。
本文基於筆者豐富的數據治理項目實施經驗，首先深入剖析企業實施數據治理項目的原因，並列舉了先建業務系統再進行數據治理的諸多弊端，然後重點介紹了數據治理項目啟動的最佳時機，最後對企業如何實施數據治理項目進行簡要說明。
一實施數據治理項目的原因
企業實施數據治理項目的原因是多樣化的，筆者根據目前國內企業數據治理現狀歸納總結了一下，原因主要體現在以下三個方面：數據質量方面、數據應用方面及其它方面。
1數據質量方面
1)數據不一致
企業早期沒有進行統一規劃設計，大部分信息系統是逐步迭代建設的，系統建設時間長短各異，各系統數據標準也不同。企業業務系統更關注業務層面，各個業務系統均有不同的側重點，各類數據的屬性信息設置和要求不統一。另外，由於各系統的相互獨立使用，無法及時同步更新相關信息等各種原因造成各系統間的數據不一致，嚴重影響了各系統間的數據交互和統一識別，基礎數據難以共享利用，數據的深層價值也難以體現。
2)數據不完整
由於企業信息系統的孤立使用，各個業務系統或模塊按照各自的需要錄入數據，沒有統一的錄入工具和數據出口，業務系統不需要的信息就不錄，造成同樣的數據在不同的系統有不同的屬性信息，數據完整性無法得到保障。
3)數據不合規
沒有統一的數據管理平台和數據源頭，數據全生命周期管理不完整，同時企業各信息系統的數據錄入環節過於簡單且手工參與較多，就數據本身而言，缺少是否重複、合法、對錯等校驗環節，導致各個信息系統的數據不夠準確，格式混亂，各類數據難以集成和統一，沒有質量控制導致海量數據因質量過低而難以被利用，且沒有相應的數據管理流程。
4)數據不可控
海量數據多頭管理，缺少專門對數據管理進行監督和控制的組織。企業各單位和部門關注數據的角度不一樣，缺少一個組織從全局的視角對數據進行管理，導致無法建立統一的數據管理標準、流程等，相應的數據管理制度、辦法等無法得到落實。同時，企業基礎數據質量考核體系也尚未建立，無法保障一系列數據標準、規範、制度、流程得到長效執行。
5)數據冗餘
各個信息系統針對數據的標準規範不一、編碼規則不一、校驗標準不一，且部分業務系統針對數據的驗證標準嚴重缺失，造成了企業頂層視角的數據出現「一物多碼」、「一碼多物」等現象。
2數據應用方面
企業信息化建設到了一定程度，開始對數據進行相關的展示、分析、應用等，進一步提高數據對企業統計分析和決策支持的力度，但是由於前期沒有進行頂層設計，在大量業務系統建設過程中沒有同步進行數據治理，出現許多上述數據問題，導致數據質量不高，數據分析結果不準，數據應用效果不佳，無法為企業的高效經營管理提供數據支撐，此時企業考慮啟動數據治理項目了。
企業用戶即使知道自己業務所需要的是哪些數據，也不能便捷、自助、及時的獲取數據，相反，由於沒有統一的專業數據管理平台，獲取數據需要導出、梳理、校驗、排重、核對等漫長的過程，導致業務分析的需求難以被快速滿足，而在當今大數據時代，業務追求的是針對某個業務問題的快速分析，這樣漫長的需求響應時間是難以滿足業務需求的。
筆者見過很多大中型企業實施了商業智能（BI），即運用數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。而往往這些企業非常重視數據治理工作，因為數據治理、元數據管理及其中的數據標準化是實現商業智能的重要環節,如果數據不一致、數據質量達不到要求,是無法進行數據集成和整合的,也就無法進行數據分析和數據挖掘,更談不上商業智能了，數據治理的重要性可見一斑。
3其它方面
1)諮詢規劃
企業在開展信息化頂層規劃設計時，諮詢廠商會提出系統架構和數據架構等方面的建設內容，數據架構需求的提出預示著企業數據標準化落地專業數據管理平台的訴求應運而生，完成諮詢規劃設計後，可以啟動數據治理項目了。
2)二次治理
有的企業在早期就已開展了數據治理工作，甚至也建設了專業的數據管理平台，但是隨著時間的推移，各個系統間的交互越來越緊密，還是發現了大量的數據質量問題，藉助目前的系統和手段無法得到明顯改善，於是企業再次啟動數據治理項目，進行二次治理。這種情況下，筆者建議企業應首先找出數據質量不高的原因所在，是管理平台功能不完善，或是數據標準執行不到位，或是數據運維體系不健全等，應從多個維度去全面評估，為後續的二次治理做好鋪墊。
3)被動治理
受到上層集團領導、政府部門相關管理要求或是「大數據」「物聯網」「人工智慧」等前沿IT技術大環境的影響，企業被動開展數據治理工作。此時，作為企業來講，應該冷靜慎重，杜絕敷衍了事。筆者建議企業應從內部管理和業務發展的角度出發重新審視數據治理的重要性，數據治理不是簡單的一蹴而就，應著重考慮數據治理成果的長效性和數據質量的持久性。
二先上業務系統再進行數據治理的弊端
有的企業由於各種各樣的原因，沒有先行開展數據治理相關方面的工作，而是直接啟動建設核心業務系統（如ERP、MES、PLM、SCM、CRM等），隨著企業的逐漸發展，業務系統越來越臃腫，周邊IT系統逐漸增多，集成邏輯愈發複雜，就會出現上文提到的各種數據問題，無法為現代企業數字化轉型提供有力支撐。以ERP系統為例，先上業務系統再進行數據治理的弊端主要體現在以下幾個方面。
核心業務系統實施時更多的是考慮業務的實現，忽略了數據本身的標準性和合規性，由於對基礎數據治理的片面性和特定性認識，導致數據治理不徹底，產生很多「臟數據」，重碼現象嚴重，一旦這些數據直接進入業務系統，隨著系統應用逐漸深入，範圍逐步擴大，對企業經營管理的影響也會越來越大。比如物資編碼不規範，就會出現採購訂單錄入時不知該選哪個編碼，倉庫盤點出現賬實不一、統計報表不準確等情況，業務系統的使用效果大打折扣。如果此時進行數據治理，一方面，由於基礎數據牽扯的範圍比較廣，數據治理的工作量比較大，涉及企業的人、財、物管理，具有一定的風險；另一方面，為保證數據治理的效果，需要企業投入大量的人力和資金。比如數據標準要重新制定、數據需要清洗、系統集成架構和邏輯需要調整，筆者遇到很多企業多次反覆使用「臟數據」，一物多碼、一碼多物的問題比較突出，導致後期數據清洗繁雜、難度大，以至於清洗周期一拖再拖，項目遲遲無法驗收。所以在核心業務系統實施前進行徹底的數據治理就可以避免上述問題，減少重複勞動，提升管理效率。
很多企業使用業務系統落地各類數據編碼的執行，由於業務系統缺乏對數據生成的有效監控、驗證等，導致數據生成過程處於失控狀態。有的業務系統上線運行前期制定了一些相關的管理制度和流程，但是長期的手工或非法執行，還是會出現書寫錯誤、不規範等問題，最終導致重複編碼無法得到有效控制，各種問題數據越積越多，不利於企業業務的高效運作。
如果核心業務系統運行一段時間後再實施數據治理，其實相當於重複一遍業務系統實施時的工作。此時需要重新規範數據標準並實現系統落地，重新進行數據清洗，重新搭建數據管理體系等，重複勞動，耗費資源。數據清洗後只能先實現重複數據的映射，然後逐步停用重複編碼，導致數據冗餘無法短期內消除，而且，需考慮對業務系統正常運行的影響。
三數據治理項目啟動的最佳時機
對於企業而言，有效的數據治理能推動IT部門和業務部門協作實現共同目標，促成企業各種業務功能的實現，是成功企業的「法寶」。當企業在數據管理方面存在上述問題，無法為高層領導分析決策提供基礎數據支撐時，開展數據治理已經勢在必行，而選擇合適的時機啟動數據治理項目就顯得尤為重要。結合項目實施經驗和標杆案例分析，筆者認為企業在核心業務系統（如ERP、MES、PLM、SCM、CRM等）上線前實施數據治理項目效果最佳。
一般來說，初始化數據的整理、數據編碼及數據錄入是建立核心業務系統的難點之一，正確按各類數據的編碼原則進行編碼定義，是數據編碼具有唯一屬性的重要依據。同時，數據整理與編碼實施也是實現整個核心業務系統快捷運行的基礎。
核心業務系統上線運行前，往往會進行統一的數據初始化工作，即把系統需要的各類數據按照系統模板的要求導入系統，保證系統的正常運行，支撐各項業務活動的開展。然而，在數據導入的過程中，經常會出現諸如數據不規範、必填項缺失、重碼、非法取值等錯誤需要反覆重新導入的情況，費時費力，增加人力成本，給業務系統的實施帶來一定的影響。
如果在核心業務系統上線前開展數據治理相關工作，對企業各類核心業務實體數據的數據標準，編碼規則，數據模型，標準資料庫、數據管理制度、流程、工具等進行梳理和規範，實現企業內標準統一、數據同源、規範共享，並通過系統集成介面自動傳輸到核心業務系統，可短期內快速完成核心業務系統數據的初始化工作，縮短周期，提高效率，通過集成介面實現靈活的數據分發等操作，達到服務集中的目的，大大節省企業信息化建設投入成本。
舉例企業常見的物資編碼來說，核心業務系統實施廠商在對物資編碼進行梳理時往往從業務系統使用的角度出發，比如常見的六角螺母，業務系統只需設置「名稱-強度等級-直徑」為編碼屬性即可，而數據治理項目的出發點是數據標準化，以及未來核心業務系統數據的應用、分析、決策等。物資數據標準化從物資分類、編碼規則、描述模板、數據清洗、提報指南、維護細則、運維體系、管理制度等多個方面保證企業物資數據的準確性、唯一性和完整性，為核心業務系統物資數據的深入應用提供有力支撐。從物資數據標準化的維度分析，六角螺栓的描述模板如下表所示。
還是以ERP系統為例，系統上線前會對各類數據進行清洗，如物料、客戶、供應商、銀行、會計科目等，數據清洗工作繁瑣、枯燥、量大，若僅僅靠人工識別整理清洗，數據質量不高，清洗周期也難以把控，而且這些基礎數據進入ERP系統也會給後續的業務開展帶來一定的影響。如果借用數據治理平台中專業的數據清洗工具來輔助開展清洗工作，可以實現清洗人員的合理分工，線上協作協同，減輕工作量，提高工作效率，在縮短周期的同時達到理想的數據清洗效果。清洗後，規範、標準、乾淨的數據進入系統可以提高ERP系統的實施效果，便於基礎數據的統一管理和集中分發，進一步加強企業經營決策的數據支撐力度。另外，實施數據治理項目還可以節省ERP系統等的License數量，從而大幅節省企業資金的投入。
四如何實施數據治理項目
數據治理是一個複雜的系統工程，涉及到企業和單位多個領域，既要做好頂層設計，又要解決好統一標準、統一流程、統一管理體系等問題，同時也要解決好數據採集、數據清洗、數據對接和應用集成等相關問題。
數據治理實施要點主要包含數據規劃、制定數據標準、整理數據、搭建數據管理工具、構建運維體系及推廣貫標六大部分，其中數據規劃是綱領、制定數據標準是基礎、整理數據是過程、搭建數據管理工具是技術手段、構建運維體系是前提，推廣貫標是持續保障。
首先運用方法論並結合企業實際情況，制定數據整體實施路線圖。然後確定數據範圍，與業務部門共同制定數據標準，標準內容包括確定分類規範、編碼結構、數據模型、屬性描述等。標準制定後，按照數據標準進行數據檢查、數據排重、數據編碼、數據載入等，建立符合數據標準和規範的數據代碼庫。同時應建設數據管理工具，為數據的管理提供技術支持，實現數據查詢、申請、修改、審核、發布、凍結、歸檔等全生命周期管理。同步建立數據管理和標準管理的運維組織、管理流程、考核機制等，保證數據標準規範得到有效執行。最後統一執行數據標準規範，擴大數據標準的應用範圍，實現信息系統間的互聯互通及共享利用。
總結
數據治理的目的是在業務價值驅動下提供高質量的大數據，企業只有把握了數據治理項目的最佳時機，完成數據管理標準體系的落地，才能充分享受數據治理帶來的發展紅利，從而加快企業數字化轉型，促進新一代信息技術與效益增長深度融合，發揮數據對企業轉型升級的重要作用。
堅持推文不易，讀完文章的朋友別忘了點贊和轉發，有任何想法歡迎在文末留言。
如果您喜歡此篇文章，記得發到朋友圈哦！分享智慧，好運常伴您！
IT圈最有料的「ICT銷售和大客戶聯盟」（微信ID：ICT-League）
絕對讓你站在IT鄙視鏈的頂端
華雲數創（北京）科技有限公司
www.chinaclouddata.com.cn
華雲數創（北京）科技有限公司，成立於2016年，致力於大數據和人工智慧領域的研究。目前主要的解決方案和核心產品包括：數據計算、數據治理、2D/3D智能可視化、企業合規審計、金融行業實體行為監測、智能警務平台、智能化客戶服務、大數據運維等，服務於廣大金融、證券、保險、能源、企業、政府等行業客戶與合作夥伴。
TAG:ICT銷售與大客戶聯盟 |