元数据治理
1. 如何有效的进行数据治理和数据管控
数据治理和数据管控这几年确实越来越受到各方的重视,它们其实有一定相似性和侧重点。数据治理往往需包含整个数据生命周期,从创建到消亡的全过程。因此进行有效的数据治理,主要步骤有:建立数据治理委员会、制定数据治理的框架、数据治理方案确定、数据治理工具选定、数据治理实施、数据治理维护增强等。目前,市面上对于数据治理已经有了相对成熟的产品和服务商可以去咨询一下,做的比较好的如IBM、亿信华辰等,可以从多个方面进行治理,元数据、主数据、数据质量、数据标准、数据资产、数据处理、数据交换、数据安全、数据生命周期等。数据管控可能会根据企业实际情况,进行数据质量管控、元数据管控等某些方面的管控。而亿信华辰的数据治理产品,可以自定义根据企业实际情况对数据进行管控。它智能纠错减少数据异常,让数据清澈如水,可靠的企业级元数据管家 理清企业数据资产,洞见数据背后的业务含义。
2. 什么是元数据(MetaData)及元数据的用途
元数据(Meta Data)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。
通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据。
发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段。
元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当。
信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。
(2)元数据治理扩展阅读
元数据分类
元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:
1、技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;
2、业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;
3、管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。
3. 什么是元数据管理及其作用
元数据管理定义如下:
1、元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。
2、最基础的管理是管理业务元数据的收集、组织和维持。
3、对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。
元数据管理作用:
1、元数据是“所有系统、文档和流程中包含的所有数据的语境
2、如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。
3、元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。
4、组织部署了数据治理项目,但没有解决元数据管理问题,仍然获得了成功,那是因为很多数据管家执行的活动和任务在聚焦元数据和元数据的管理流程。
4. 什么是元数据为何需要元数据
元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是关于数据的数据。需要元数据是用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
描述信息资源或数据本身的特征和属性,规定数字化信息的组织,具有定位、发现、证明、评估、选择等功能。
一般认为,所谓元数据是关于数据的数据,或关于数据的结构化的数据。从已有的结论看,元数据的含义是逐渐发展的。元数据一词,早期主要指网络资源的描述数据,用于网络信息资源的组织;其后,逐步扩大到各种以电子形式存在的信息资源的描述数据。元数据这一术语实际用于各种类型信息资源的描述记录。
此外,元数据在地理界,生命科学界等领域也有其相应的定义和应用。
(4)元数据治理扩展阅读
元数据的基本特点主要有:
a)元数据一经建立,便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境;元数据的开发与利用环境往往是一个变化的分布式环境;任何一种格式都不可能完全满足不同团体的不同需要;
b)元数据首先是一种编码体系。元数据是用来描述数字化信息资源,特别是网络信息资源的编码体系,这导致了元数据和传统数据编码体系的根本区别;元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。
元数据体系构建了电子政务的逻辑框架和基本模型,从而决定了电子政务的功能特征、运行模式和系统运行的总体性能。
电子政务的运作都基于元数据来实现。其主要作用有:描述功能、整合功能、控制功能和代理功能。
由于元数据也是数据,因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据,将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。
5. 目前主流的数据治理平台有那些。
睿治数据治理平台是亿信华辰完全自主研发的、开创性的、一站式综合数据治理整体解决方案。睿治是全国唯一实现了数据治理场景全覆盖的突破性产品,九大核心模块:元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据交换、数据处理、数据生命周期等,以创新的方式保证了企业的业务数据在采集、汇总、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,全面为客户量身打造符合自身特征的数据治理体系。
睿治始终站在国内顶尖梯队,广泛应用了MQ、分布式计算、zookeeper等最新技术。同时引领国内行业发展趋势:
1、数据质量自动探查,内置常规数理统计算法支持绑定机器学习算法;
2、数据关系智能构建,基于存储过程、sql、数据库定义,自动理解数据之间的关系;
3、资产目录主动感知,活化更新等先进技术,确保成为当之无愧的领头羊。
6. 国内能做数据治理的公司
亿信华辰,华为、普元、石竹、IBM、SAS、中翰软件、石化盈科
其中亿信华辰基于回13年的数据治理经答验,已形成一整套数据治理解决方案,通过元数据、主数据、数据质量、数据标准、数据资产、数据处理、数据交换、数据安全、数据生命周期九大功能模块的任意组合,满足所有客户的数据治理需求,实现数据价值的最大释放。目前已广泛应用于财政、税务、卫健委、农业、食品安全、安监、法检及政法、金融、企业等,为客户提供信息化顶层设计与规划咨询、应用软件开发、系统集成、运维和运营等全方位的专业服务。
7. 数据治理包括哪些方面
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
数据治理的全过程
数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管,这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作。从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合
8. 如何通过元数据管理工具提高元数据质量
作为经验丰富的平台软件厂商,普元推出元数据管理平台产品普元MetaCube,为企业建立元数据管理体系提供了可靠、便捷的工具支持,从而更加有效的发掘和利用信息资产的价值,实现精准高效的分析和决策,在复杂的市场环境里获得竞争优势。普元 MetaCube产品是企业级元数据管理平台。它采集来自企业内数据仓库领域内的技术、业务元数据、过程元数据,为企业提供了端到端的元数据服务。
优势一:端到端的元数据管理
作为真正端到端的元数据管理工具,提供跨工具和应用的企业级的元数据统一视图,提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。
优势二:可定制的元模型管理
提供企业数据仓库环境内置的元数据类型支持;支持用户按需定制元模型结构,形成统一的元数据类,特别适合支持业务元数据的管理,同时多样性的类关系管理支持灵活、规范的元数据项关联关系。
优势三:自动获取和关联元数据
可连接其他软件工具(Oracle、DB2、Datastage、PowerCenter、Erwin、PowerDesigner等)自动或手动获取元数据,保证了元数据的最新、一致、可用、极大减少人工维护工作量。 通过元数据关联功能,在元数据采集时,自动关联两个来自数据库、BI工具的元数据。减少人工映射的工作量。
优势四:强大的分析功能
血统分析 –跨工具了解数据在应用中流动变化的来源和目的
影响分析 –跨工具追踪企业范围的系统变化影响
数据地图 –用于展现企业数据全貌,为更有效的利用和挖掘信息资产提供技术支撑。
优势五:完整的生命周期和版本管理
产品提供元数据的生命周期管理,发布、删除和状态变更都有严格的流程,并提供了版本管理功能,这些都确保元数据的质量,保证了后续使用元数据系统的权威性和可靠性。
9. 如何实现成功的数据治理
1.建立统一的数据标准。目前存在各业务部门标准不统一,部门之间数据标准矛盾或者相互混淆的情况,导致部门间数据交换,数据共享比较困难。建立统一的数据标准有助于对数据进行统一规范的管理,消除各部门间的数据壁垒,方便数据的共享,另外数据标准同样对业务流程的规范化有帮助作用。
2.提高数据质量。电力数据的采集和传输受到采集传感器的精度、稳定性,通讯设备和环境因素的影响较大,导致存在大量的空值和垃圾数据。可通过数据质量管理对电力数据进行质量检查,找出有问题的数据,通过数据清洗,问题整改,例外排查等一系列手段提高数据质量;另外还可以通过出具数据质检报告,数据质量绩效考核来督促各业务部门重视数据质量从而加强人员和业务的管理来提高数据质量。
3.数据资产管理。将经过处理的高质量数据资产统一管理,提供全生命周期的管理和数据安全保障。并可将数据资产进行分类和编目,方便数据的展示和数据共享,同时也为数据分析和数据挖掘(电力需求预测、电力系统优化等)打好基础。
亿信睿治是从元数据、主数据、数据标准、数据质量再到数据处理、数据资产、数据交换和数据安全,能够为企业提供一站式解决方案,从而打通数据治理全流程。从而完成企业对于数据治理的要求
10. 国内数据治理软件有那些急需求推荐
7国内能做数据治理的公司推荐你看看亿信华辰的睿治数据治理管理平台,他们是专业的数据治理全生命周期产品供应厂商,还有 华为、普元做的也可以。