主数据和元数据、数据标准、数据质量有什么关
发布时间:2023-07-17 21:31 浏览次数:次 作者:admin
企业数据治理涉及的工作很广,包括数据标准、数据质量、数据安全、数据共享机制、元数据管理、主数据管理等。主数据作为企业的黄金数据,对于企业信息化管理具有重要意义。本文将对主数据的概念及主数据与数据治理体系中的几个核心部分的关系和大家做一个探讨。
1、什么是主数据
主数据就是企业中多个信息系统共享和使用的数据。例如:ERP系统中有“客户主数据”,“项目主数据”和“供应商主数据”。主数据通常是公司的关键资产之一。
为了更全面地回答“什么是主数据?”,我们先看一下在企业中常见的6种数据类型:
非结构化数据:可在电子邮件、白皮书、杂志文章、企业内部网站门户、产品规格设计文件、营销资料和PDF文件中找到的数据。
交易数据:具有历史意义或其他系统需要分析的业务事件。通常与系统交易有关的数据,例如销售、交货、发票、故障单、索赔等。交易数据是使用主数据实体的单位级别的交易。与主数据不同,事务本质上是特定的时间和瞬时数据。
元数据:关于其他数据的数据。它可以存储在正式的存储库中或以各种其他形式存在,例如XML文档、报告定义、数据库中的列描述、日志文件、连接和配置文件。
层级数据:存储其他数据之间关系的数据。它可以作为财务系统的一部分存储,也可以作为对现实世界关系的描述单独存储,例如组织结构或产品BOM。层级数据有时被视为超级主数据域,因为它对于理解和发现主数据之间的关系至关重要。
参考数据:一种特殊类型的主数据,用于对其他数据进行分类或用于将数据与企业范围以外的信息相关联。可以在主数据或交易数据对象之间共享参考数据,例如国家/地区、货币、时区、付款条件等。
主数据:企业内部的核心数据,描述开展业务所围绕的对象。它通常不经常更改,并且可以包含经营业务所需的参考数据。主数据本质上不是事务性的,但它确实描述了事务。常见的主数据类型有:供应商主数据、客户主数据、物料主数据、价格主数据、科目主数据、组织主数据、人员主数据等。根据企业业务类型不同,还会有产品主数据、项目主数据等细分。
图:主数据与企业数据关系
2、主数据与元数据的关系
元数据(meta-data)是描述企业数据的相关数据,指在IT系统建设过程中所产生的有关数据定义、目标定义、转换规则等相关的关键数据,包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。
元数据可以说是企业的数据地图,它直接反映了企业中有什么样的数据,数据是如何存放的,例如,数据结构是什么样子,数据与业务之间的关系是怎么样,数据与数据之间的关系是怎么样,数据有什么样的安全需求,数据有什么样的存储需求。
3、主数据与数据标准的关系
没有规矩不成方圆,数据标准是数据治理或整体数据化建设的核心。在主数据管理体系中,主数据模型、主数据管理规范、主数据共享技术规范都可以看作数据标准。我们希望将所有数据生产线路上的规范都统一纳入数据标准管理体系。
同时,数据生产过程中的每个环节都需要数据标准的支撑。
数据按照数据层级划分,如下表所示。
数据按照数据生产过程划分,如下表所示。
4、主数据与数据质量的关系
很多失败的数据应用,第一理由都归集为数据质量问题导致最后的交付结果数据不准确,以致业务部门最终无法采纳。那么,什么样的问题才算作数据质量问题呢?当数据中很多字段存在大量的空数据时,这是由于数据质量存在问题,还是由于数据模型设计得不合理?
主数据管理最核心的价值在于提升基础数据的整体数据质量,保证数据的及时性和准确性。
5、主数据与数据安全的关系
主数据是企业的黄金数据,其数据价值不言而喻,所以如何保证主数据的使用安全是我们必须关注的内容。主数据应当完整纳入数据安全管理体系,从数据存储安排、防止窃取和泄露等诸多方面予以全方位的保障。
6、主数据与数据仓库的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:
首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;
第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。
但是,主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同:
处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;
实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;
数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。
虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。