數據治理規劃
❶ 如何能夠在大數據時代處理好數據治理
產品設計和優化基於數據而高於數據。數據是反映產品效果的一種有力輔助手段,因此,在設計產品、迭代功能前,最好都提前規劃好本次「更新換代」的數據統計分析體系,並在上線後不斷觀察,根據數據反饋指導進一步的產品優化。然而,面對繁雜的數據指標和功能流程,該如何快速而清晰搭建起合適的數據衡量體系,是一個很重要的問題。
❷ 如何構建數據治理模式中的職責體系
1 、隨著大數據熱潮的不斷興起,數據資產概念已經被越來越多的企業所接受,大部分企業開始重新審視自身所擁有的數據,對內加強數據對於公司業務模式創新、流程優化、精細化營銷等場景下的應用,對外探索各種數據價值變現的途徑,為公司在市場化競爭的環境下提升競爭力提供支撐和助力。在這個背景下,數據治理的概念也引起了越來越多單位的重視,特別是金融、通信和能源等國內信息化相對領先的行業,這些行業中的大部分單位已經把數據當做一項重要資產來進行管理,從組織、制度、流程和技術等多個方面入手展開數據的匯總、管理和應用的工作。
2、相關數據治理理論以及職責體系的定義
2.1 DAMA數據治理體系
國際數據管理協會DMBOK一書中對數據治理的定義如下:「數據治理是對數據資產管理行使權力和控制的活動集合(規劃、監控和執行)。數據治理指導其他數據管理職能如何執行,是在數據管理之上的更高一層的規劃和控制」,從中可以看到DMBOK把數據相關的活動劃分為數據治理和數據管理兩部分,其中數據治理重點關注於整體制度的規劃、監控和執行,用於指導和規范數據管理工作的開展。而數據管理工作是針對數據運營和操作所展開的日常活動,例如:數據架構設計,數據標准和數據質量管理等等。
數據治理處於數據管理的核心位置,包括了數據戰略、組織和角色、政策和標准等等,在組織和角色方面,DMBOK提出了數據治理的「三權分立」模式。數據治理包括立法職能(策略和標准)、司法職能(問題管理)和行政職能(管理、服務與合規):數據治理機構的職責包括設置策略、標准、架構和規程,以及解決數據相關問題。數據管理組織的職責包括:管理、監控和執行數據政策、標准和程序,協調、維護和實施數據架構。如圖1所示。
在這個模式中,DMBOK強調數據治理的立法司法和執行之間的獨立和相互制衡,這是數據治理模式三權分立中的關鍵點。DMBOK明確提出了首席數據官、數據治理委員會、數據治理辦公室、數據管理管理專員等概念,對企業數據治理工作的開展起到了很大的推動作用。但是DMBOK對於三權分立模式如何在企業中落地實施著墨不多,這也需要根據企業規模、管理模式方面的特徵來進行具體的落地實施。
2.2 DGI數據治理體系
數據治理研究所(DGI)提出了數據治理的簡單定義和復雜定義。簡單定義為,數據治理是對數據相關事務行使權力並進行決策的一系列活動。復雜定義為,數據治理是關於數據信息的決策權和責任制的體系,並按照共同約定的體系模型落地實施。該模型對數據信息的相關環境、人員、時間和方法、行動都進行嚴格、明確的定義,實現正確的人員在適當時間對合適環境中的相關數據,按照定義的方法採取必要的行動,確保數據滿足規范要求。
在數據治理組織方面,DGI認為一個公司的數據治理組織主要有以下三部分組成:
(1)數據利益相關人:有可能影響數據或者被數據所影響的任何個人和團體,例如:數據架構團隊、業務團隊,DBA等等。
(2)數據治理辦公室:數據治理日常運行的溝通、協調機構,需要推動相關制度的落實、監控日常工作開展情況,推動問題的解決等。
(3)數據管家團隊:負責各自領域數據的管理工作,制定數據的業務規則,採集數據和應用數據來支持工作,並負責自身數據相關質量問題的解決。
2.3 非侵入式數據治理體系
Robert S.Seiner是國際數據治理領域的知名專家,根據對數據治理領域常見痛點的總結,結合自身數據治理經驗的總結,提出了非侵入式數據治理模式《Non-invasive Data governance》,這種模式強調一種自下而上的數據治理方式,和DMBOK、DGI等方面的模式有顯著區別,並在國際上有很大的影響力。
非侵入式數據治理模式的主要特點如下:
(1)數據管理專員是根據當前的工作職責而識別出來的,並對其工作職責進行規范化,而不是讓他感覺到給他增加了新的工作任務。
(2)在現有的策略、流程和方法之上增加數據治理控制的功能,而不是引入新的流程或者方法。
(3)數據治理是統一支持企業范圍內所有的數據集成、風險管理、商業智能和主數據管理等活動,而不是在各自的領域施加不同的控制。
(4)需要讓高層領導者了解這是一種實用的、對現在沒有改變的,高效的數據治理模式,可以協調數據所有者之間的關系,強調把數據當做企業資產進行管理的方式,而不是構建一套獨立的數據治理機制。
(5)非侵入式數據治理模式的關鍵點是高效的溝通,並且能夠充分利用已有的優勢。
在這種模式下,整個數據相關的角色包括操作層的數據管理專員、戰術層的主題域數據管理員、戰術層的數據管理協調員、戰略層的數據治理委員會、戰略層的指導委員會、數據治理團隊、數據治理合作夥伴等七類角色。
這些組織角色的設置和DMBOK中的設置有相似之處,但是在非侵入式數據治理體系中更加強調這些角色的建立是根據其當前工作職責的識別來制定的,不是新增或者重新招聘,這些角色中除了數據治理團隊之外,其他角色都是兼職人員。
3 實踐中的數據治理模式以及職責體系
數據治理相關理論對數據治理相關的職責體系進行了描述,但是企業應該如何構建職責體系沒有涉及,在實際的應用場景中,特別是國內的企事業單位,大部分都是自上而下的方式來構建各自的數據治理職責體系,更多的是參考DAMA數據治理體系中的結構設計,對於非侵入式數據治理體系這種模式國內的實踐案例不多。
數據治理職責體系在國內企業中主要存在兩種類型四種模式:
(1)實體組織類型:獨立數據管理組織模式,IT部門下屬數據管理組織模式。
(2)虛擬組織類型:IT部門牽頭的虛擬數據治理組織,業務部門牽頭的虛擬數據治理組織。
3.1 獨立的實體組織
獨立的數據管理組織模式是把數據業務化的一種方式,針對數據這一企業資產設立獨立的部門來集中進行數據資產的運營和管理。這種模式是完全脫離IT部門再重新建立一個獨立的數據管理部門,統一負責數據架構、數據標准、數據質量和安全等方面的管理,並且對IT部門建設項目中的數據需求、設計和變更進行管理,確保新建項目中能夠滿足公司數據管理方面的要求。同時,有的公司也會把數據分析、數據運營變現的工作放在數據管理部,從而可以把數據管理部門從成本中心轉變為利潤中心,實現從數據到利潤的變現。
這種模式強調數據管理部和技術部之間的平衡,有利於制定獨立的數據管理政策和保證相關政策的落地實施,同時明確了公司數據管理運營許可權的歸屬部門,有利於打破數據的部門壁壘,可以促進數據價值的發揮。同時,由於數據管理部門不僅僅是進行數據管理,同時也可以進行數據分析和變現的工作,業務價值比較容易體現,對於提升自身數據團隊人員的積極也有很大幫助。
3.2 IT下屬的實體組織
由於數據是信息系統的附屬物,隨著信息系統建設的逐漸成熟和穩定,很多公司為把信息化的重點逐漸轉移到數據的管理和分析應用等方面,而信息科技部門往往被認為是最了解數據的部門,因此很多公司會在信息科技部門下面成立獨立的團隊來開展數據管理的工作。這種模式很多的是問題驅動式的,由於數據分析應用過程中面臨的數據問題越來越多,迫切需要進行管理,而數據在公司內部的戰略位置還沒有非常高,所以會選擇在IT部門下設獨立的數據管理部門,在制定數據管理政策和標準的同時,推動數據質量問題的處理,可能還會承擔數據維護的工作。
這種模式下數據管理部的人員出自於信息科技部門,對信息系統就非常熟悉,了解存在的數據問題,和項目人員的溝通交流很方便,相互之間也很容易協作。但是,經常會出現以技術的視角來考慮數據管理的問題,很多數據政策、標準的落地實施常常會妥協於項目實施時間、成本等方面的約束。
3.3 IT牽頭的虛擬組織
由於成立實體的數據管理團隊對組織架構的沖擊比較大,特別是國內的央企和行政事業單位,因此成立虛擬的數據管理組織就成為很多企業採取的模式。信息技術部門往往會極力推動數據治理組織的建設,希望通過公司高層領導的支持,加強公司業務部門在數據管理工作過程中的參與度。而由於IT部門更了解信息系統,更了解技術,理所當然的就成立了由IT部門牽頭的、各業務部門參與的、虛擬的數據治理組織。這種模式會參考DAMA數據治理組織的模式,設置數據治理委員會、數據治理辦公室,業務數據管理員等架構模式,其中數據治理政策的制定、推動實施、監控和協調等主要工作會落實在數據治理辦公室,數據治理辦公室由IT部門負責落實和管理,在IT部門中有可能會指定全職的人員來進行協調和管理的工作,其他的大部分人員都是兼職的。
這種模式的優點就是對組織架構的沖擊比較小,建立成本較小。虛擬組織很容易建立,但是推動數據治理相關制度具體落地執行的難度非常大,業務部門的參與度不高,數據治理的業務價值也不容易體現,因此針對這種模式,建議數據管理部能設置專職的數據管理角色,業務部門的工作職責要能夠落實到崗位描述中。
3.4 業務牽頭的虛擬組織
這種模式是對第三種模式的演進,由於國內很多企業IT部門都是相對弱勢的部門,話語權不強,導致數據治理的制度、標准很難落實,為此,很多企業建立數據治理組織的時候會選擇一個強勢的業務部門牽頭,IT部門配合的模式,例如銀行的風險管理部門、財務部門等等。
這種模式下由於業務部門對於數據的需求和痛點很了解,比較容易體現數據治理的業務價值,同時,由於部門話語權比較強,相關的政策、標准和措施比較容易落地執行。缺點就是牽頭業務部門需要平衡本職業務工作和數據治理工作的投入,同時,由於對信息技術和數據沒有那麼了解,往往需要增加專職的數據管理員。
4 雲南電網數據治理職責體系實踐
雲南電網數據治理組織採用IT牽頭的虛擬組織形式。數據治理委員會職責由網路與信息安全領導小組履行,數據治理管理辦公室職責由網路與信息安全領導小組辦公室履行。在信息部下設置數據治理業務專員,在信息中心下設置數據治理技術專員,其他各業務部門設置數據聯絡員。
4.1 數據治理委員會工作職責
在數據戰略層面:主要負責監督數據戰略和數據政策的實施和執行情況,監控數據風險。
在數據管理層面:主要負責公司數據戰略的目標和策略、數據體系規劃、數據政策制度、數據質量、數據標准、數據需求等數據領域的重大事項審批以及監督評價。
具體職責包括:
(1)對重大數據治理相關事項進行決策,監督數據治理相關工作的開展;
(2)審批公司數據治理工作考評方案,並監督考評結果;
(3)定期向董事會報告公司數據治理相關工作情況。
4.2 數據治理管理辦公室工作職責
數據治理管理辦公室是公司數據治理工作的直接領導與組織部門,負責數據治理相關各領域、各環節的決策支持、監督執行和組織落實。其主要職責包括落實數據治理決策層分配的工作,制定並審議數據治理相關工作流程和各項制度,組織推進公司各部門及基層單位開展數據治理工作。具體職責包括:
(1)審議數據治理工作相關的制度和細則及工作流程;
(2)指導數據標準的編制、執行、變更、復審的協調、決策等管理工作,審查數據標准相關方案,審議數據標准相關的重大事項等;
(3)定期向數據治理決策層匯報公司數據治理工作情況;
(4)負責審議並指導數據治理執行層工作並聽取匯報;
(5)指導數據治理工作考評方案制定,並檢查數據治理工作評結果。
❸ 領導幹部應關注大數據治理的哪些理念
總的來說,我們認為,領導幹部大數據思維方式的建立是一個循序漸進的過程。
需從「經驗主義」向「數據主義」決策轉變,真正認識到數據的價值。先拋開大數據的概念不提,我們國家的政府信息化和電子政務系統已經實施了很多年,各政府部門也積累了大量關系國計民生的數據,但政府部門的領導幹部在決策的過程中往往還是「經驗主義」主導,甚至不少領導不知道本部門有哪些數據,數據放在哪裡。因此,領導幹部首先需要了解自己本部門的數據狀況,這些數據目前有哪些主要的應用場景,已經為本部門管理水平和公共服務能力的提升發揮了哪些作用,是否曾經共享給其他兄弟部門以發揮更大的價值等基本問題。另外,還需對數據的價值和作用有基礎理解,有意識地提升數據支持決策的能力。
以利他分享的大數據思維思考政府數據共享開放。目前很多政府部門的數據實際上是處於信息孤島狀態,數據由於沒有與其他部門進行共享,也沒有實現開放,使得數據的價值發掘非常有限。而且,很多政府部門的領導把自己部門的數據看作是部門利益的基礎,認為數據的共享開放輸出就意味著利益的輸出,這種現象在數據能力強的部門體現得尤為明顯。領導幹部需要認識到,部門的數據如果不流動起來,不與其他的外部數據進行融合,就會成為死數據,而真正發揮價值的是活數據。數據的外部性說明數據的價值不是只存在於內部,站在更高的層次和角度考慮政府數據共享才能使得數據的價值最大。
不少領導幹部以政府數據的安全為由,或多一事兒不如少一事兒的心理,對政府數據開放持拒絕或者消極態度。縱觀國外政府數據開放的歷程,基本是從信息公開起步,在數據開放方面本著「開放為默認,不開放為特例」的原則,才使得數據開放成為建設智慧城市或智慧政府的重要基礎。需要認識到政府的數據開放其實是在利用社會力量實現政府治理現代化的目標,因此,把與民生相關的、經過脫敏的政府數據開放給民眾以及企業,會促進基於大數據的創新創業發展,也才能讓數據通過流動和融合,發揮更大的社會和經濟價值。
在服務型政府創建過程中,大數據對於政府提升管理效率、科學決策能力和公共服務水平都能夠起到關鍵作用。服務型政府的願景是政府能夠為百姓提供互動、主動、有效的個性化公共服務,而大數據正是提供智慧服務的基石,尤其在智慧城市建設中起的作用最為顯著。領導幹部需要從這些目標中總結大數據所起到的價值和作用,有的放矢地開展大數據相關項目規劃和實施。
為適應大數據時代的治理需求,領導幹部的思維模式需實現自上而下為主向自下而上為主的轉變,數據化決策、管理、服務和創新的能力亟需進一步提升。各級領導幹部對大數據的認識不能僅局限在概念和產業吸引投資上,而是需要在推動政府治理創新上有更深層次的理解,唯此才能真正促進我國政府治理現代化的進程。
❹ 數據治理的什麼是應對型數據治理
應對型數據治理是指通過客戶關系管理 (CRM) 等「前台」應用程序和諸如 企業資源規劃 (ERP) 等「後台」應用程序授權主數據,例如客戶、產品、供應商、員工等。然後,數據移動工具將最新的或更新的主數據移動到多領域 MDM 系統中。它整理、匹配和合並數據,以創建或更新「黃金記錄」,然後同步回原始系統、其它企業應用程序以及數據倉庫或商業智能/分析系統。
❺ 國內能做數據治理的公司
億信華辰,華為、普元、石竹、IBM、SAS、中翰軟體、石化盈科
其中億信華辰基於回13年的數據治理經答驗,已形成一整套數據治理解決方案,通過元數據、主數據、數據質量、數據標准、數據資產、數據處理、數據交換、數據安全、數據生命周期九大功能模塊的任意組合,滿足所有客戶的數據治理需求,實現數據價值的最大釋放。目前已廣泛應用於財政、稅務、衛健委、農業、食品安全、安監、法檢及政法、金融、企業等,為客戶提供信息化頂層設計與規劃咨詢、應用軟體開發、系統集成、運維和運營等全方位的專業服務。
❻ 談談國家針對大數據發展規劃是怎樣的
實施國家大數據戰略部署和頂層設計,需要我們做到「四個結合」:把政府數據開放和市場基於數據的創新結合起來。政府擁有80%的數據資源,如果不開放,大數據戰略就會成為無源之水,市場主體如果不積極利用數據資源進行商業創新,數據開放的價值就無從釋放;把大數據與國家治理創新結合起來。國務院的部署明確提出,「將大數據作為提升政府治理能力的重要手段」「提高社會治理的精準性和有效性」,用大數據「助力簡政放權,支持從事前審批向事中事後監管轉變」。
具體如下:
1、此外,我國作為世界製造業第一大國,需要高度關注一個現實——大數據重新定義了製造業創新升級的目標和路徑。無論是德國提出的工業4.0戰略,還是美國通用公司提出的工業互聯網理念,本質正是先進製造業和大數據技術的統一體。大數據革命驟然改變了製造業演進的軌道,加速了傳統製造體系的產品、設備、流程貶值淘汰的進程。
2、數字工廠或稱智能工廠,是未來製造業轉型升級的必然方向。我國面臨著從「製造大國」走向「製造強國」的歷史重任,在新的技術條件下如何適應變化、如何生存發展、如何參與競爭,是非常現實的挑戰。
3、在政府治理方面,政府可以藉助大數據實現智慧治理、數據決策、風險預警、智慧城市、智慧公安、輿情監測等。大數據將通過全息的數據呈現,使政府從「主觀主義」「經驗主義」的模糊治理方式,邁向「實事求是」「數據驅動」的精準治理方式。
在公共服務領域,基於大數據的智能服務系統,將會極大地提升人們的生活體驗,智慧醫療、智慧教育、智慧出行、智慧物流、智慧社區、智慧家居等等,人們享受的一切公共服務將在數字空間中以新的模式重新構建。
❼ 如何實現成功的數據治理
1.建立統一的數據標准。目前存在各業務部門標准不統一,部門之間數據標准矛盾或者相互混淆的情況,導致部門間數據交換,數據共享比較困難。建立統一的數據標准有助於對數據進行統一規范的管理,消除各部門間的數據壁壘,方便數據的共享,另外數據標准同樣對業務流程的規范化有幫助作用。
2.提高數據質量。電力數據的採集和傳輸受到採集感測器的精度、穩定性,通訊設備和環境因素的影響較大,導致存在大量的空值和垃圾數據。可通過數據質量管理對電力數據進行質量檢查,找出有問題的數據,通過數據清洗,問題整改,例外排查等一系列手段提高數據質量;另外還可以通過出具數據質檢報告,數據質量績效考核來督促各業務部門重視數據質量從而加強人員和業務的管理來提高數據質量。
3.數據資產管理。將經過處理的高質量數據資產統一管理,提供全生命周期的管理和數據安全保障。並可將數據資產進行分類和編目,方便數據的展示和數據共享,同時也為數據分析和數據挖掘(電力需求預測、電力系統優化等)打好基礎。
億信睿治是從元數據、主數據、數據標准、數據質量再到數據處理、數據資產、數據交換和數據安全,能夠為企業提供一站式解決方案,從而打通數據治理全流程。從而完成企業對於數據治理的要求
❽ 大數據系統體系建設規劃包括哪些內容
技術模型控制、適應傳統管理工作需求 新一代電子政務系統在得出了業務資源及關系模型和業務資源許可權控制模型後,再結合機關單位辦公實際,梳理傳統管理工作需求,把機關單位的傳統管理工作、規章制度通過技術模型的形式固定了。還有像傳統的規章制度中對文件傳閱控制、處理規定等,新一代電子政務系統就通過查詢授權功能在技術上實現。提煉標准模型在創新的業務核心模型基礎上,新一代電子政務系統建設為了保障業務核心模型的有效實現和規劃,再提煉了業務標准模型。統一資料庫結構設計 新一代電子政務系統通過數據標准規范,統一了各子系統的數據結構標准,從數據底層實現了標准統一,為各子系統之間的數據共享和數據整合提供了統一結構基礎。統一系統和基礎信息資源分類 新一代電子政務系統通過統一各業務及應用子系統之間的系統和基礎信息資源分類,實現了信息資源支撐的統一,從而為各子系統之間的數據關聯相互交換提供了統一數據基礎。業務數據標准化保障了業務模型在數據層次的統一,確保了業務模型數據標准。統一主界面布局與統一應用層次 在業務數據標准統一基礎上,為了確保業務核心模型在電子技術實現後的規范和方便應用,新一代電子政務系統又創新實現了系統布局和展示層的標准,還可以為應用層次劃分標准,從而方便用戶對系統的規范使用。制定設計模型創新了業務核心模型,提煉了業務標准後,新一代電子政務系統針對各種辦公業務資源,從業務工作的實際出發,結合實踐經驗,又創新制定了基於業務核心模型基礎上的業務設計模型,業務設計模型的創新又在於歸納可復用各業務功能模塊上面。新一代電子政務系統中,業務設計模型的創新在於提煉可復用各業務功能模塊。以往的電子政務建設,模塊不清晰,系統建設雜亂無章,很多建設工作重復,這不僅僅耗費了大量資金,而且不利於系統的長遠發展和推廣應用。新一代電子政務系統從建設的實踐中,從功能模塊層提煉出了可復用的各業務功能模塊,以方便系統的繼續發展和建設,局部見圖2