数据治理规划
❶ 如何能够在大数据时代处理好数据治理
产品设计和优化基于数据而高于数据。数据是反映产品效果的一种有力辅助手段,因此,在设计产品、迭代功能前,最好都提前规划好本次“更新换代”的数据统计分析体系,并在上线后不断观察,根据数据反馈指导进一步的产品优化。然而,面对繁杂的数据指标和功能流程,该如何快速而清晰搭建起合适的数据衡量体系,是一个很重要的问题。
❷ 如何构建数据治理模式中的职责体系
1 、随着大数据热潮的不断兴起,数据资产概念已经被越来越多的企业所接受,大部分企业开始重新审视自身所拥有的数据,对内加强数据对于公司业务模式创新、流程优化、精细化营销等场景下的应用,对外探索各种数据价值变现的途径,为公司在市场化竞争的环境下提升竞争力提供支撑和助力。在这个背景下,数据治理的概念也引起了越来越多单位的重视,特别是金融、通信和能源等国内信息化相对领先的行业,这些行业中的大部分单位已经把数据当做一项重要资产来进行管理,从组织、制度、流程和技术等多个方面入手展开数据的汇总、管理和应用的工作。
2、相关数据治理理论以及职责体系的定义
2.1 DAMA数据治理体系
国际数据管理协会DMBOK一书中对数据治理的定义如下:“数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理指导其他数据管理职能如何执行,是在数据管理之上的更高一层的规划和控制”,从中可以看到DMBOK把数据相关的活动划分为数据治理和数据管理两部分,其中数据治理重点关注于整体制度的规划、监控和执行,用于指导和规范数据管理工作的开展。而数据管理工作是针对数据运营和操作所展开的日常活动,例如:数据架构设计,数据标准和数据质量管理等等。
数据治理处于数据管理的核心位置,包括了数据战略、组织和角色、政策和标准等等,在组织和角色方面,DMBOK提出了数据治理的“三权分立”模式。数据治理包括立法职能(策略和标准)、司法职能(问题管理)和行政职能(管理、服务与合规):数据治理机构的职责包括设置策略、标准、架构和规程,以及解决数据相关问题。数据管理组织的职责包括:管理、监控和执行数据政策、标准和程序,协调、维护和实施数据架构。如图1所示。
在这个模式中,DMBOK强调数据治理的立法司法和执行之间的独立和相互制衡,这是数据治理模式三权分立中的关键点。DMBOK明确提出了首席数据官、数据治理委员会、数据治理办公室、数据管理管理专员等概念,对企业数据治理工作的开展起到了很大的推动作用。但是DMBOK对于三权分立模式如何在企业中落地实施着墨不多,这也需要根据企业规模、管理模式方面的特征来进行具体的落地实施。
2.2 DGI数据治理体系
数据治理研究所(DGI)提出了数据治理的简单定义和复杂定义。简单定义为,数据治理是对数据相关事务行使权力并进行决策的一系列活动。复杂定义为,数据治理是关于数据信息的决策权和责任制的体系,并按照共同约定的体系模型落地实施。该模型对数据信息的相关环境、人员、时间和方法、行动都进行严格、明确的定义,实现正确的人员在适当时间对合适环境中的相关数据,按照定义的方法采取必要的行动,确保数据满足规范要求。
在数据治理组织方面,DGI认为一个公司的数据治理组织主要有以下三部分组成:
(1)数据利益相关人:有可能影响数据或者被数据所影响的任何个人和团体,例如:数据架构团队、业务团队,DBA等等。
(2)数据治理办公室:数据治理日常运行的沟通、协调机构,需要推动相关制度的落实、监控日常工作开展情况,推动问题的解决等。
(3)数据管家团队:负责各自领域数据的管理工作,制定数据的业务规则,采集数据和应用数据来支持工作,并负责自身数据相关质量问题的解决。
2.3 非侵入式数据治理体系
Robert S.Seiner是国际数据治理领域的知名专家,根据对数据治理领域常见痛点的总结,结合自身数据治理经验的总结,提出了非侵入式数据治理模式《Non-invasive Data governance》,这种模式强调一种自下而上的数据治理方式,和DMBOK、DGI等方面的模式有显著区别,并在国际上有很大的影响力。
非侵入式数据治理模式的主要特点如下:
(1)数据管理专员是根据当前的工作职责而识别出来的,并对其工作职责进行规范化,而不是让他感觉到给他增加了新的工作任务。
(2)在现有的策略、流程和方法之上增加数据治理控制的功能,而不是引入新的流程或者方法。
(3)数据治理是统一支持企业范围内所有的数据集成、风险管理、商业智能和主数据管理等活动,而不是在各自的领域施加不同的控制。
(4)需要让高层领导者了解这是一种实用的、对现在没有改变的,高效的数据治理模式,可以协调数据所有者之间的关系,强调把数据当做企业资产进行管理的方式,而不是构建一套独立的数据治理机制。
(5)非侵入式数据治理模式的关键点是高效的沟通,并且能够充分利用已有的优势。
在这种模式下,整个数据相关的角色包括操作层的数据管理专员、战术层的主题域数据管理员、战术层的数据管理协调员、战略层的数据治理委员会、战略层的指导委员会、数据治理团队、数据治理合作伙伴等七类角色。
这些组织角色的设置和DMBOK中的设置有相似之处,但是在非侵入式数据治理体系中更加强调这些角色的建立是根据其当前工作职责的识别来制定的,不是新增或者重新招聘,这些角色中除了数据治理团队之外,其他角色都是兼职人员。
3 实践中的数据治理模式以及职责体系
数据治理相关理论对数据治理相关的职责体系进行了描述,但是企业应该如何构建职责体系没有涉及,在实际的应用场景中,特别是国内的企事业单位,大部分都是自上而下的方式来构建各自的数据治理职责体系,更多的是参考DAMA数据治理体系中的结构设计,对于非侵入式数据治理体系这种模式国内的实践案例不多。
数据治理职责体系在国内企业中主要存在两种类型四种模式:
(1)实体组织类型:独立数据管理组织模式,IT部门下属数据管理组织模式。
(2)虚拟组织类型:IT部门牵头的虚拟数据治理组织,业务部门牵头的虚拟数据治理组织。
3.1 独立的实体组织
独立的数据管理组织模式是把数据业务化的一种方式,针对数据这一企业资产设立独立的部门来集中进行数据资产的运营和管理。这种模式是完全脱离IT部门再重新建立一个独立的数据管理部门,统一负责数据架构、数据标准、数据质量和安全等方面的管理,并且对IT部门建设项目中的数据需求、设计和变更进行管理,确保新建项目中能够满足公司数据管理方面的要求。同时,有的公司也会把数据分析、数据运营变现的工作放在数据管理部,从而可以把数据管理部门从成本中心转变为利润中心,实现从数据到利润的变现。
这种模式强调数据管理部和技术部之间的平衡,有利于制定独立的数据管理政策和保证相关政策的落地实施,同时明确了公司数据管理运营权限的归属部门,有利于打破数据的部门壁垒,可以促进数据价值的发挥。同时,由于数据管理部门不仅仅是进行数据管理,同时也可以进行数据分析和变现的工作,业务价值比较容易体现,对于提升自身数据团队人员的积极也有很大帮助。
3.2 IT下属的实体组织
由于数据是信息系统的附属物,随着信息系统建设的逐渐成熟和稳定,很多公司为把信息化的重点逐渐转移到数据的管理和分析应用等方面,而信息科技部门往往被认为是最了解数据的部门,因此很多公司会在信息科技部门下面成立独立的团队来开展数据管理的工作。这种模式很多的是问题驱动式的,由于数据分析应用过程中面临的数据问题越来越多,迫切需要进行管理,而数据在公司内部的战略位置还没有非常高,所以会选择在IT部门下设独立的数据管理部门,在制定数据管理政策和标准的同时,推动数据质量问题的处理,可能还会承担数据维护的工作。
这种模式下数据管理部的人员出自于信息科技部门,对信息系统就非常熟悉,了解存在的数据问题,和项目人员的沟通交流很方便,相互之间也很容易协作。但是,经常会出现以技术的视角来考虑数据管理的问题,很多数据政策、标准的落地实施常常会妥协于项目实施时间、成本等方面的约束。
3.3 IT牵头的虚拟组织
由于成立实体的数据管理团队对组织架构的冲击比较大,特别是国内的央企和行政事业单位,因此成立虚拟的数据管理组织就成为很多企业采取的模式。信息技术部门往往会极力推动数据治理组织的建设,希望通过公司高层领导的支持,加强公司业务部门在数据管理工作过程中的参与度。而由于IT部门更了解信息系统,更了解技术,理所当然的就成立了由IT部门牵头的、各业务部门参与的、虚拟的数据治理组织。这种模式会参考DAMA数据治理组织的模式,设置数据治理委员会、数据治理办公室,业务数据管理员等架构模式,其中数据治理政策的制定、推动实施、监控和协调等主要工作会落实在数据治理办公室,数据治理办公室由IT部门负责落实和管理,在IT部门中有可能会指定全职的人员来进行协调和管理的工作,其他的大部分人员都是兼职的。
这种模式的优点就是对组织架构的冲击比较小,建立成本较小。虚拟组织很容易建立,但是推动数据治理相关制度具体落地执行的难度非常大,业务部门的参与度不高,数据治理的业务价值也不容易体现,因此针对这种模式,建议数据管理部能设置专职的数据管理角色,业务部门的工作职责要能够落实到岗位描述中。
3.4 业务牵头的虚拟组织
这种模式是对第三种模式的演进,由于国内很多企业IT部门都是相对弱势的部门,话语权不强,导致数据治理的制度、标准很难落实,为此,很多企业建立数据治理组织的时候会选择一个强势的业务部门牵头,IT部门配合的模式,例如银行的风险管理部门、财务部门等等。
这种模式下由于业务部门对于数据的需求和痛点很了解,比较容易体现数据治理的业务价值,同时,由于部门话语权比较强,相关的政策、标准和措施比较容易落地执行。缺点就是牵头业务部门需要平衡本职业务工作和数据治理工作的投入,同时,由于对信息技术和数据没有那么了解,往往需要增加专职的数据管理员。
4 云南电网数据治理职责体系实践
云南电网数据治理组织采用IT牵头的虚拟组织形式。数据治理委员会职责由网络与信息安全领导小组履行,数据治理管理办公室职责由网络与信息安全领导小组办公室履行。在信息部下设置数据治理业务专员,在信息中心下设置数据治理技术专员,其他各业务部门设置数据联络员。
4.1 数据治理委员会工作职责
在数据战略层面:主要负责监督数据战略和数据政策的实施和执行情况,监控数据风险。
在数据管理层面:主要负责公司数据战略的目标和策略、数据体系规划、数据政策制度、数据质量、数据标准、数据需求等数据领域的重大事项审批以及监督评价。
具体职责包括:
(1)对重大数据治理相关事项进行决策,监督数据治理相关工作的开展;
(2)审批公司数据治理工作考评方案,并监督考评结果;
(3)定期向董事会报告公司数据治理相关工作情况。
4.2 数据治理管理办公室工作职责
数据治理管理办公室是公司数据治理工作的直接领导与组织部门,负责数据治理相关各领域、各环节的决策支持、监督执行和组织落实。其主要职责包括落实数据治理决策层分配的工作,制定并审议数据治理相关工作流程和各项制度,组织推进公司各部门及基层单位开展数据治理工作。具体职责包括:
(1)审议数据治理工作相关的制度和细则及工作流程;
(2)指导数据标准的编制、执行、变更、复审的协调、决策等管理工作,审查数据标准相关方案,审议数据标准相关的重大事项等;
(3)定期向数据治理决策层汇报公司数据治理工作情况;
(4)负责审议并指导数据治理执行层工作并听取汇报;
(5)指导数据治理工作考评方案制定,并检查数据治理工作评结果。
❸ 领导干部应关注大数据治理的哪些理念
总的来说,我们认为,领导干部大数据思维方式的建立是一个循序渐进的过程。
需从“经验主义”向“数据主义”决策转变,真正认识到数据的价值。先抛开大数据的概念不提,我们国家的政府信息化和电子政务系统已经实施了很多年,各政府部门也积累了大量关系国计民生的数据,但政府部门的领导干部在决策的过程中往往还是“经验主义”主导,甚至不少领导不知道本部门有哪些数据,数据放在哪里。因此,领导干部首先需要了解自己本部门的数据状况,这些数据目前有哪些主要的应用场景,已经为本部门管理水平和公共服务能力的提升发挥了哪些作用,是否曾经共享给其他兄弟部门以发挥更大的价值等基本问题。另外,还需对数据的价值和作用有基础理解,有意识地提升数据支持决策的能力。
以利他分享的大数据思维思考政府数据共享开放。目前很多政府部门的数据实际上是处于信息孤岛状态,数据由于没有与其他部门进行共享,也没有实现开放,使得数据的价值发掘非常有限。而且,很多政府部门的领导把自己部门的数据看作是部门利益的基础,认为数据的共享开放输出就意味着利益的输出,这种现象在数据能力强的部门体现得尤为明显。领导干部需要认识到,部门的数据如果不流动起来,不与其他的外部数据进行融合,就会成为死数据,而真正发挥价值的是活数据。数据的外部性说明数据的价值不是只存在于内部,站在更高的层次和角度考虑政府数据共享才能使得数据的价值最大。
不少领导干部以政府数据的安全为由,或多一事儿不如少一事儿的心理,对政府数据开放持拒绝或者消极态度。纵观国外政府数据开放的历程,基本是从信息公开起步,在数据开放方面本着“开放为默认,不开放为特例”的原则,才使得数据开放成为建设智慧城市或智慧政府的重要基础。需要认识到政府的数据开放其实是在利用社会力量实现政府治理现代化的目标,因此,把与民生相关的、经过脱敏的政府数据开放给民众以及企业,会促进基于大数据的创新创业发展,也才能让数据通过流动和融合,发挥更大的社会和经济价值。
在服务型政府创建过程中,大数据对于政府提升管理效率、科学决策能力和公共服务水平都能够起到关键作用。服务型政府的愿景是政府能够为百姓提供互动、主动、有效的个性化公共服务,而大数据正是提供智慧服务的基石,尤其在智慧城市建设中起的作用最为显著。领导干部需要从这些目标中总结大数据所起到的价值和作用,有的放矢地开展大数据相关项目规划和实施。
为适应大数据时代的治理需求,领导干部的思维模式需实现自上而下为主向自下而上为主的转变,数据化决策、管理、服务和创新的能力亟需进一步提升。各级领导干部对大数据的认识不能仅局限在概念和产业吸引投资上,而是需要在推动政府治理创新上有更深层次的理解,唯此才能真正促进我国政府治理现代化的进程。
❹ 数据治理的什么是应对型数据治理
应对型数据治理是指通过客户关系管理 (CRM) 等“前台”应用程序和诸如 企业资源规划 (ERP) 等“后台”应用程序授权主数据,例如客户、产品、供应商、员工等。然后,数据移动工具将最新的或更新的主数据移动到多领域 MDM 系统中。它整理、匹配和合并数据,以创建或更新“黄金记录”,然后同步回原始系统、其它企业应用程序以及数据仓库或商业智能/分析系统。
❺ 国内能做数据治理的公司
亿信华辰,华为、普元、石竹、IBM、SAS、中翰软件、石化盈科
其中亿信华辰基于回13年的数据治理经答验,已形成一整套数据治理解决方案,通过元数据、主数据、数据质量、数据标准、数据资产、数据处理、数据交换、数据安全、数据生命周期九大功能模块的任意组合,满足所有客户的数据治理需求,实现数据价值的最大释放。目前已广泛应用于财政、税务、卫健委、农业、食品安全、安监、法检及政法、金融、企业等,为客户提供信息化顶层设计与规划咨询、应用软件开发、系统集成、运维和运营等全方位的专业服务。
❻ 谈谈国家针对大数据发展规划是怎样的
实施国家大数据战略部署和顶层设计,需要我们做到“四个结合”:把政府数据开放和市场基于数据的创新结合起来。政府拥有80%的数据资源,如果不开放,大数据战略就会成为无源之水,市场主体如果不积极利用数据资源进行商业创新,数据开放的价值就无从释放;把大数据与国家治理创新结合起来。国务院的部署明确提出,“将大数据作为提升政府治理能力的重要手段”“提高社会治理的精准性和有效性”,用大数据“助力简政放权,支持从事前审批向事中事后监管转变”。
具体如下:
1、此外,我国作为世界制造业第一大国,需要高度关注一个现实——大数据重新定义了制造业创新升级的目标和路径。无论是德国提出的工业4.0战略,还是美国通用公司提出的工业互联网理念,本质正是先进制造业和大数据技术的统一体。大数据革命骤然改变了制造业演进的轨道,加速了传统制造体系的产品、设备、流程贬值淘汰的进程。
2、数字工厂或称智能工厂,是未来制造业转型升级的必然方向。我国面临着从“制造大国”走向“制造强国”的历史重任,在新的技术条件下如何适应变化、如何生存发展、如何参与竞争,是非常现实的挑战。
3、在政府治理方面,政府可以借助大数据实现智慧治理、数据决策、风险预警、智慧城市、智慧公安、舆情监测等。大数据将通过全息的数据呈现,使政府从“主观主义”“经验主义”的模糊治理方式,迈向“实事求是”“数据驱动”的精准治理方式。
在公共服务领域,基于大数据的智能服务系统,将会极大地提升人们的生活体验,智慧医疗、智慧教育、智慧出行、智慧物流、智慧社区、智慧家居等等,人们享受的一切公共服务将在数字空间中以新的模式重新构建。
❼ 如何实现成功的数据治理
1.建立统一的数据标准。目前存在各业务部门标准不统一,部门之间数据标准矛盾或者相互混淆的情况,导致部门间数据交换,数据共享比较困难。建立统一的数据标准有助于对数据进行统一规范的管理,消除各部门间的数据壁垒,方便数据的共享,另外数据标准同样对业务流程的规范化有帮助作用。
2.提高数据质量。电力数据的采集和传输受到采集传感器的精度、稳定性,通讯设备和环境因素的影响较大,导致存在大量的空值和垃圾数据。可通过数据质量管理对电力数据进行质量检查,找出有问题的数据,通过数据清洗,问题整改,例外排查等一系列手段提高数据质量;另外还可以通过出具数据质检报告,数据质量绩效考核来督促各业务部门重视数据质量从而加强人员和业务的管理来提高数据质量。
3.数据资产管理。将经过处理的高质量数据资产统一管理,提供全生命周期的管理和数据安全保障。并可将数据资产进行分类和编目,方便数据的展示和数据共享,同时也为数据分析和数据挖掘(电力需求预测、电力系统优化等)打好基础。
亿信睿治是从元数据、主数据、数据标准、数据质量再到数据处理、数据资产、数据交换和数据安全,能够为企业提供一站式解决方案,从而打通数据治理全流程。从而完成企业对于数据治理的要求
❽ 大数据系统体系建设规划包括哪些内容
技术模型控制、适应传统管理工作需求 新一代电子政务系统在得出了业务资源及关系模型和业务资源权限控制模型后,再结合机关单位办公实际,梳理传统管理工作需求,把机关单位的传统管理工作、规章制度通过技术模型的形式固定了。还有像传统的规章制度中对文件传阅控制、处理规定等,新一代电子政务系统就通过查询授权功能在技术上实现。提炼标准模型在创新的业务核心模型基础上,新一代电子政务系统建设为了保障业务核心模型的有效实现和规划,再提炼了业务标准模型。统一数据库结构设计 新一代电子政务系统通过数据标准规范,统一了各子系统的数据结构标准,从数据底层实现了标准统一,为各子系统之间的数据共享和数据整合提供了统一结构基础。统一系统和基础信息资源分类 新一代电子政务系统通过统一各业务及应用子系统之间的系统和基础信息资源分类,实现了信息资源支撑的统一,从而为各子系统之间的数据关联相互交换提供了统一数据基础。业务数据标准化保障了业务模型在数据层次的统一,确保了业务模型数据标准。统一主界面布局与统一应用层次 在业务数据标准统一基础上,为了确保业务核心模型在电子技术实现后的规范和方便应用,新一代电子政务系统又创新实现了系统布局和展示层的标准,还可以为应用层次划分标准,从而方便用户对系统的规范使用。制定设计模型创新了业务核心模型,提炼了业务标准后,新一代电子政务系统针对各种办公业务资源,从业务工作的实际出发,结合实践经验,又创新制定了基于业务核心模型基础上的业务设计模型,业务设计模型的创新又在于归纳可复用各业务功能模块上面。新一代电子政务系统中,业务设计模型的创新在于提炼可复用各业务功能模块。以往的电子政务建设,模块不清晰,系统建设杂乱无章,很多建设工作重复,这不仅仅耗费了大量资金,而且不利于系统的长远发展和推广应用。新一代电子政务系统从建设的实践中,从功能模块层提炼出了可复用的各业务功能模块,以方便系统的继续发展和建设,局部见图2