大數(shù)據(jù)時代,數(shù)據(jù)成為社會和組織的寶貴資產(chǎn),像工業(yè)時代的石油和電力一樣驅(qū)動萬物,然而如果石油的雜質(zhì)太多,電流的電壓不穩(wěn),數(shù)據(jù)的價值豈不是大打折扣,甚至根本不可用不敢用,因此,數(shù)據(jù)治理是大數(shù)據(jù)時代我們用好海量數(shù)據(jù)的必然選擇。
成都創(chuàng)新互聯(lián)公司專注于揭西企業(yè)網(wǎng)站建設,自適應網(wǎng)站建設,電子商務商城網(wǎng)站建設。揭西網(wǎng)站建設公司,為揭西等地區(qū)提供建站服務。全流程按需設計網(wǎng)站,專業(yè)設計,全程項目跟蹤,成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務
但大家都知道,數(shù)據(jù)治理是一項長期而繁雜的工作,可以說是大數(shù)據(jù)領域中的臟活累活,很多時候數(shù)據(jù)治理廠商做了很多工作,客戶卻認為沒有看到什么成果。大部分數(shù)據(jù)治理咨詢項目都能交上一份讓客戶足夠滿意的答卷,但是當把咨詢成果落地到實處的時候,因為種種原因,很可能是另一番截然不同的風景。如何避免這種情況發(fā)生,是每一個做數(shù)據(jù)治理的企業(yè)都值得深思的問題。
cdn.xitu.io/2019/7/24/16c2292f15f1b496?w=865&h=487&f=jpeg&s=54959">
筆者涉獵大數(shù)據(jù)治理領域有6年多的時間,負責過政府、軍工、航空、大中型制造企業(yè)的數(shù)據(jù)治理項目。在實踐當中有過成功的經(jīng)驗,當然也經(jīng)歷過很多失敗的教訓,在這些過程中,我一直在思考大數(shù)據(jù)治理究竟是在治理什么?要達到什么樣的合理目標?中間應該怎么避免走一些彎路?今天就借這個機會跟各位分享一下我曾經(jīng)趟過的坑,希望對大家有一些借鑒意義。
客戶既然請廠商來幫助自己做數(shù)據(jù)治理,必定是看到了自己的數(shù)據(jù)存在種種問題。但是做什么,怎么做,做多大的范圍,先做什么后做什么,達到什么樣的目標,業(yè)務部門、技術(shù)部門、廠商之間如何配合做······很多客戶其實并沒有想清楚自已真正想解決的問題。數(shù)據(jù)治理,難在找到一個切入點。
數(shù)據(jù)問題產(chǎn)生的原因,往往是業(yè)務>技術(shù),如:數(shù)據(jù)來源渠道多,責任不明確,導致同一份數(shù)據(jù)在不同的信息系統(tǒng)有不同的表述;業(yè)務需求不清晰,數(shù)據(jù)填報不規(guī)范或缺失,等等。很多表面上的技術(shù)問題,如ETL過程中某代號變更導致數(shù)據(jù)加工出錯,影響報表中的數(shù)據(jù)正確性等,在本質(zhì)上其實還是業(yè)務管理的不規(guī)范。
我在與很多客戶做數(shù)據(jù)治理交流的時候,發(fā)現(xiàn)大部分客戶認識不到數(shù)據(jù)質(zhì)量問題發(fā)生的根本原因,只想從技術(shù)維度單方面來解決數(shù)據(jù)問題,這樣的思維方式導致客戶在規(guī)劃數(shù)據(jù)治理的時候,根本沒有考慮到建立一個涵蓋技術(shù)組、業(yè)務組的強有力的組織架構(gòu)和能有效執(zhí)行的制度流程,導致效果大打折扣。
出于投資回報的考慮,客戶往往傾向于做一個覆蓋全業(yè)務和技術(shù)域的、大而全的數(shù)據(jù)治理項目。從數(shù)據(jù)的產(chǎn)生,到加工、應用、銷毀,數(shù)據(jù)的整個生命周期他們希望都能管到。從業(yè)務系統(tǒng),到數(shù)據(jù)中心,到數(shù)據(jù)應用,里面的每個數(shù)據(jù)他們希望都能被納入到數(shù)據(jù)治理的范圍中來。
但殊不知廣義上的數(shù)據(jù)治理是一個很大的概念,包括很多內(nèi)容,想在一個項目里就做完通常是不可能的,而是需要分期分批地實施,所以廠商如果屈從于客戶的這種想法,很容易導致最后哪個也做不好,用不起來。所以,我們需要引導客戶,遵循2/8原則——80%的問題產(chǎn)生于20%的系統(tǒng)和數(shù)據(jù)——從最核心的系統(tǒng)、最重要的數(shù)據(jù)、最容易產(chǎn)生問題的地方開始著手做數(shù)據(jù)治理。
很多客戶都認為,數(shù)據(jù)治理就是花一些錢,買一些工具,認為工具就是一個過濾器,過濾器做好了,數(shù)據(jù)從中間一過,就沒問題了。結(jié)果是:一方面功能越做越多,另一方面實際上線后,功能復雜,用戶不愿意用。
其實上面的想法是一種簡單化的思維,數(shù)據(jù)治理本身包含很多的內(nèi)容——組織架構(gòu)、制度流程、成熟工具、現(xiàn)場實施和運維——這四項缺一不可,工具只是其中一部分內(nèi)容。大家在做數(shù)據(jù)治理最容易忽視的就是組織架構(gòu)和人員配置,但實際上所有的活動流程、制度規(guī)范都需要人來執(zhí)行、落實和推動,沒有對人員的安排,后續(xù)工作很難得到保障。建議大家在做數(shù)據(jù)治理的時候?qū)⒔M織架構(gòu)放在第一位,有組織的存在,就會有人去思考這方面的工作,怎么去推動,持續(xù)把事情做好,以人為中心的數(shù)據(jù)治理工作,才更容易推廣落地。
很多客戶一說到數(shù)據(jù)治理,馬上就說我們有很多數(shù)據(jù)標準,但是這些標準卻統(tǒng)統(tǒng)沒有落地,因此,我們要先做數(shù)據(jù)標準的落地。數(shù)據(jù)標準真正落地了,數(shù)據(jù)質(zhì)量自然就好了。
但這種說法其實混淆了數(shù)據(jù)標準和數(shù)據(jù)標準化。首先要明白一個道理:數(shù)據(jù)標準是一定要做的,但是數(shù)據(jù)標準化,也就是數(shù)據(jù)標準的落地,則需要分情況實施。后續(xù)會有一篇專門的文章,來討論數(shù)據(jù)標準和標準化工作。
辛辛苦苦建立起來平臺,業(yè)務和技術(shù)人員通力合作,配置好了數(shù)據(jù)質(zhì)量的檢核規(guī)則,也找出來了一大堆的數(shù)據(jù)質(zhì)量問題,然后呢?半年之后,一年之后,同樣的數(shù)據(jù)質(zhì)量問題依舊存在。
發(fā)生這種問題的根源在于沒有形成數(shù)據(jù)質(zhì)量問責的閉環(huán)。要做到數(shù)據(jù)質(zhì)量問題的問責,首先需要做到數(shù)據(jù)質(zhì)量問題的定責。定責的基本原則是:誰生產(chǎn),誰負責。數(shù)據(jù)是從誰那里出來的,誰負責處理數(shù)據(jù)質(zhì)量問題。定責之后是問責,問責之后是整改和反饋,然后是質(zhì)量問題的新一輪評估,直至形成績效考核和排名。只有形成這種工作閉環(huán),才能真正提升數(shù)據(jù)質(zhì)量。
很多數(shù)據(jù)治理的項目難驗收,客戶往往有疑問:你們做數(shù)據(jù)治理究竟干了些啥?看你們匯報說干了一大堆事情,我們怎么什么都看不到?發(fā)生這種情況,原因往往有前面誤區(qū)一所說的客戶需求不明確,誤區(qū)三所說的做了大而全的數(shù)據(jù)治理而難以收尾等,但還有一個原因不容忽視,那就是沒有讓客戶感知到數(shù)據(jù)治理的成果,可以在成果的可視化呈現(xiàn),以及平常與客戶的溝通、培訓、知識轉(zhuǎn)移等過程中,就數(shù)據(jù)治理的重要性、發(fā)揮的價值等方面對客戶進行潛移默化的影響。
在激烈的市場競爭下,大數(shù)據(jù)廠商提出來數(shù)據(jù)治理的各種理念,有的提出覆蓋數(shù)據(jù)全生命周期的數(shù)據(jù)治理,有的提出以用戶為中心的自服務化數(shù)據(jù)治理,有的提出減少人工干預、節(jié)省成本的基于人工智能的自動化數(shù)據(jù)治理,在面對這些概念的時候,我們一方面要對數(shù)據(jù)現(xiàn)狀有清晰的認識,對數(shù)據(jù)治理的目標有明確的訴求,另一方面還要知道數(shù)據(jù)治理中各種常見的誤區(qū),跨越這些陷阱,才能把數(shù)據(jù)治理工作真正落到實處,項目取得成效,做到數(shù)據(jù)更準確,數(shù)據(jù)更好取,數(shù)據(jù)更好用,真正地用數(shù)據(jù)提升業(yè)務水平。
作者簡介:蔣珍波, 6年+大數(shù)據(jù)治理經(jīng)驗,擅長為客戶提供科學合理的數(shù)據(jù)治理解決方案。曾先后供職于東南融通、軟通動力、普元信息等公司,負責過數(shù)據(jù)倉庫建設、BI、大數(shù)據(jù)平臺、數(shù)據(jù)治理等售前咨詢等工作,有政府、電力、制造業(yè)等行業(yè)經(jīng)驗。目前在數(shù)瀾科技擔任大數(shù)據(jù)平臺售前咨詢工作。