数据管理详情

数据已经成为新时代的生产要素，在数字经济时代，数据已经成为继土地、劳动力、资本、技术后的新型生产要素。从手工记录信息到信息线上化，再到如今的数字化、智能化，数据已成为企业数字化转型中的重要依赖资产。本文我将以自身多年的项目总结，通过在实际项目中数据治理遇到的疑难问题加以概括和分析，针对这些常见的难点，提出数据治理整体应对策略，为数字化转型中的企业提供一些参考思路和建议。

 

第一部分：数据治理难点分析

数字化转型是当下企业不得不面对的时代挑战，顺应时代转型是与时俱进，不转型守株待兔就是等死，是把命运托付给竞争对手。企业的数字化转型始于被动成于主动，转型的目标不是为了提升数字化水平，而是为了提升企业核心竞争力。数字化转型的核心要素就是数据，在今天，数据连接着一切，要成功完成数字化转型，基础工作就是打通数据，数据如果不“拉通”，标准不一致，数据质量低下，数据口径矛盾，就无法联通企业内外。

 

相信做过企业数字化转型工作的人都会有这样的一些疑惑：数字化转型的基础工作是数据管理工作，组织中多次进行数据治理项目，花费了很大成本，但效果不明显；数据治理感觉是空中楼阁，无法落地；数据管理工作为何是一个长期持续的工作，不能短期快速实现吗。这些都是数据治理工作中经常遇到的疑难点，今天笔者就带着大家一起分析一下数据治理项目中经常会遇到的七大困难点。

 

数据标准统一难

首先要讲的是数据标准规范，没有标准要求的数据治理就是一团浆糊，永远说不清楚。实际上数据的标准就是数据统一的准则规范，是对企业或组织所有数据相关方的行为约束，包括业务和系统的管理行为。

因涉及范围广，是组织大部分人员甚至是全员都有切身利益影响的事情，所以要想统一数据标准相当于要统一所有业务部门的意见及诉求，这一过程既要做到求同存异，又要有的放矢，抓住重点，这是一项艰难抉择的任务，比如数据治理中公共核心的主数据它属于跨部门，跨系统的核心共享数据，各业务职能对其数据颗粒度、数据维护时点、维护规则有着不同的需求，正所谓“众口难调”。

 

比如房地产行业中项目开发全周期过程阶段如投资定案、土地获取、报规报建、预测阶段、实测阶段有着不同阶段的数据需求；项目楼栋数据对于工程运营来讲在土地获取之后就要创建，但对于营销来讲预售阶段才需要创建。那如何达成一致的标准时点和统一颗粒度呢？解决方案如时点的原则有“就早不就晚”，颗粒度的原则是“就细不就粗”等。

 

此处主要想讲述的是不同企业需要面对的业务背景不同，口径需求各不相同，但困难都是类似的：数据标准涉及部门多，人员范围广，众口难调，所以制定统一的数据标准是比较困难但又非常重要的事情，思想不统一，工作就打折扣。

 

数据组织权责建立难

数据治理中一套清晰可靠的组织将驱动数据治理项目的成功运行，数据治理工作是一项需要跨业务组织协调的工作，清晰的组织是支撑数据工作落实的保证。比如数据治理中的指标数据，企业集团层级的核心指标属于企业共享通用的数据，各个业务部门都有很强的需求，该数据指标的owner方确定好后，将接受下游使用方的数据监督和挑战，一旦数据规则及口径有歧义或有问题，可能就会追溯到数据源头，数据owner方就需要担责。

在我了解的企业中，如果没有高层领导指定，几乎没有一个企业中某个部门会主动愿意承当起数据源头录入工作，认为这可能是一件吃力不要讨好的事情。当然站在企业CEO的角度来看这又是一个势在必行的工作。数据Owner确定的过程是一个反复的过程，要有权责相匹配，在数据录入过程中有担责，也应当给予相应的奖励评价，同时最好把数据的工作嵌入到业务平时的一个常规工作环节中，这样执行起来也更贴近业务。

 

数据价值评估难

经常听到的一句话就是“数据治理这么多年，为何迟迟不见价值凸显”，在市场瞬息万变的情况下，没有快速价值收益就等于失败，而数据治理是一项需要长期稳步推进的工作。后疫情时代，企业将更难生存，以利润为目标的企业很难坚持三到五年的时间来研究数据治理工作，这也是很多国内企业做不成的原因，“心急吃不了热豆腐”。做了很多年的数据治理，但效果不明显，主要原因有以下两点：

1）难以持之以恒

 

这里描述的持之以恒不仅在于坚持数据核心生产要素的企业管理战略，还在于坚持一套科学有效的治理方法。数据治理其实是一个系统性工程，很多企业一年不出成果就换人，好不容易积累的经验又得从零开始，一个数据管理者一套方法论，可能并没有真正的对错，但很明显，每一套方法的起点都是梳理数据标准规则，制定数据管理流程制度，搭建数据管理组织等，到最后发现，数据治理的前几个步骤，来回反复的走，却始终没有到达终点，浪费成本不说，甚至让企业管理者对数据工作失去信心。老板一旦对数据治理工作失去信心，那就可以宣告失败了。

 

2）缺少科学的价值评估体系与方法

 

数据治理的价值度量目前在数据理论研究中仍然是一个难题，无论是国际咨询公司如IBM、德勤还是国内的大型公司，对于如何有效度量出对目标数据治理的价值，都还停留在探索的理论阶段，而价值模糊将影响老板对其投入的程度的评估。目前市场上的数据价值评估方法主要有成本法、收益法、市场法，但均难以有效的度量出数据价值，所以在未见明显价值的情况下，很难有企业老板愿意持续不断的投入资金做数据治理工作。

 

数据质量管理难

符合业务使用的数据，才能称之为符合质量，高质量的数据促使业务提效，低质量的数据会影响工作效率，增加成本，甚至会让企业损失及面临法律风险。在数据质量管理中，对于数据质量的要求也是以满足业务经营为最基本要求的，造成数据质量问题的原因有多方面：

1）本身数据源头录入质量难以控制

 

这包括数据录入标准和要求需要清晰规范，要有明确的录入指引，数据口径要各方认可，对录入人员要有严格的培训及考核要求。事实上很多时候数据来源方或者数据生产方都存在不统一的口径，同一公司不同区域的标准不一样，如果标准制定太严格，所有地方一刀切，也很难落地，还会造成用户的抵制。解决思路是什么呢，核心还是要简化数据标准，求同存异，抓大放小，关注最核心的数据质量问题，切忌洁癖和吹毛求疵。

 

2）下游系统应用方式导致的数据问题

 

通常来讲当数据源系统解决了录入问题之后，录入人对数据质量的敏感度并不高，因为用户真正应用接触的通常是数据使用方，这些系统的架构设计可能因为历史的原因，存在很多的问题，甚至短期内是难以改变的，所以也很难使用考核的方式“逼其就范”。

 

历史数据清理难

历史数据是企业过去多年累积形成的数据，从大型的集团企业来看，企业大数据在一年年累积起来，随着企业经营逐步扩大，企业管理思路也一直在变化。数据在企业不同时期的形态与结构也差异很大，当面对这些企业历史数据处理时，很多的数字化转型解决专家也显得力不从心，无太多好的解决办法。

对于有大量历史数据的企业来讲，如何做好数据清理将极大影响未来数据治理工作的效果，甚至影响整个企业数字化转型的成败。数据清理为什么这么难，回归到数据的本质，数据是客观事实的记录，正因为是客观事实的反馈，所以某个时期的数据都有时代的特征和管理要求的烙印。

 

数据在企业发展过程中，精确的记录企业当时经营的管理要求，不同时代场景下，形成的数据可能各不相同，不同的业务部门在数据应用中同样存在不一致的精度需求，如针对供应商的合同数据，包含了历史合同的录入标准，合同下制定的付款申请单、付款方式，付款凭证等，这些数据存在整个项目的全阶段，而不同业务部门对数据清理的内容、范围要求也不同，这些都需要达成一致。

 

数据的清理既要考虑现有的规则标准，也要考虑历史情况，对于主数据、参考数据、事务数据、指标数据的清理之间的相互影响也是需要充分考虑的。

 

另一方面，历史数据不仅只有数据是历史的，就连企业组织结构、员工、系统都是历史的，而要做数据清理的人员甚至是才刚刚接手，对于历史遗留的文件资料或证据都难以溯源，有些即使找到也难以客观的对其准确理解和判断，这样就会导致数据失真，最终无法清理出高质量的数据。遇到这种情况，几乎难有解决方法，只能不断通过经验的积累和仿佛验证来修复数据，加上数据清理人员的仔细推敲，尽可能地清理出准确的数据。

 

数据系统落地难

目前市面上数据产品可谓数不胜数，可一款好的数据管理产品却依旧可望而不可求，原因很多，有不同行业难复用性问题、有国内很多软件厂商专业性问题，也由自身企业发展独特的环境因素。数据通过系统客观反馈业务问题，但很多职能型项目，数据规则不明确或者朝令夕改，这种情况下，很难将数据标准固化在系统，讲究人情的系统就无法落地。数据系统与业务系统的关系到底是什么，数据管理系统是否应该与业务系统一起建立，是该坚持系统规则还是便利于人情世故，种种的问题影响着对数据产品设计的定位和管理。

比如业内主数据产品比较主流的两种思路：第一种，企业的主数据系统独立部署，单独建设，与各业务系统相互独立。这样的建设优点是能保证企业级数据的严肃性，不受单个业务部门影响；它的缺点是：容易造成企业级的数据录入独立，缺少核验，导致录入修改时及时性及规范性降低，因为主数据对象的产生一般都是业务流程到达一定的业务节点时需要创建的，缺少业务流程的支撑，整个业务的连贯性就会减低。

 

第二种，主数据系统和业务系统相绑定，这样可以让业务流和主数据流统一，驱动用户录入数据、修改及更新。这种方式的缺点也很明显，容易被单个业务系统的管理范围及局限性限制，导致数据屈从源头业务端的需求，失去企业级视角，难以发挥企业级别的影响力。

 

数据治理长期执行难

很多数字化项目刚开始一切安好，系统也能顺利上线，一段时间后发现前期制定的标准方案执行不下去了。究其原因在于，很多企业项目之初，借助高层的大力支持和外部专业厂商的合作，从数据的方案制定到系统落地，上线都很顺利，期间也形成标准化的数据月度会议，但标准化执行几个月或一两年的时间后，随着外部专家的撤离，领导对其关注度降低，相关的人员就逐步对原先制定的数据标准失去耐心，并无暇顾及，导致又回到了原点。

很多数据治理项目短期能够顺利上线，系统和方案堪称完美，但难点往往发生在运营阶段，如何将这一套理论方案和系统可持续化地执行下去，这里就得提出数据管理制度的重要性，数据系统的执行过程中，发布配套的数据管理制度，制定晾晒和考核机制，能够不断的驱动数据相关方，持续遵循数据标准规范。

 

第二部分：数据治理策略应对

考虑到前文提到的七大数据治理难题，实际情况往往更加复杂。总体而言，数据治理工作必须是自上而下的，如果没有高层的支持和推动，难以成功。因此，企业需要及早进行规划，设定数据战略目标，并踏实地、渐进式地执行，不断进行优化和调整。这一点可以从华为、阿里巴巴、腾讯等数字化成熟的企业中得到证实，它们都不是一蹴而就的。

 

我们可以借鉴一些先进的数据管理思维方法，比如国家发布的DCMM方法可以指导我们进行数据管理工作，DAMA的数据管理知识体系中包括了数据成熟度模型评估。在进行数据治理之前，我们可以进行数据成熟度评估，这个评估可以帮助企业了解自身数据管理水平，并根据评估结果有针对性地进行数据治理。

 

解决数据治理的难题和方案可以参考《DCMM数据成熟能力模型评估》中的数据治理内容，我在这里总结了企业数据治理七个主要方向的解决策略，包括数据战略、数据组织体系、数据管理制度、企业数据架构、数据管理标准、数据质量管理、数据执行与落地。

 

数据战略

数据战略是数据治理的长远目标，它需要明确定义企业对数据的价值观。根据《DAMA数据管理知识体系第二版》的描述，“数据战略需要一个支持性的数据管理战略——一个维护和提高数据质量、数据完整性、访问和安全性的规划，同时降低已知和隐含的风险”。数据战略需要明确数据管理的定义，为什么数据管理很重要，以及数据管理对组织的影响。这一理念需要传达给高层领导，以实现上下一心的协作。

同时，数据战略应包括目标和计划。目标可以分为短期、中期和长期目标，以明确数据管理工作的方向。此外，数据战略还应明确数据在未来企业数字化转型中的必要性和战略意义。

 

数据组织体系

数据组织是数字化转型的推动力，也是真正实施数据管理的前提条件。数据管理组织可以是专门的部门，也可以是跨部门兼职协作。无论如何，这些组织必须能够执行实际的计划和工作，如数据标准化管理委员会、数据管理指导委员会等组织形式，以确保数据战略的贯彻落实，因为数据管理工作通常涉及到不同部门之间的数据协调和合作。

这些组织需要建立常规会议机制，用于决策数据管理工作中的争议。数据管理会议可以包括月度数据运营会议、季度数据成果汇报会等。此外，数据管理组织需要拥有专业的数据管理人才，并为他们提供培训，以提高其素质和能力。

 

数据管理制度

一旦建立了数据管理组织，就需要具体的数据管理制度来指导工作。数据管理制度可以分为三个层次：数据管理办法、数据管理规范和数据管理指导手册。

数据管理办法：这是数据管理的总体要求，内容相对较高层次。它描述了企业对主要数据的总体要求，如数据管理的原则、组织结构、流程管控等。

数据管理规范：这一层次更为具体，拆解了管理办法的框架，对每个条例进行了详细解释，包括流程、责任人、执行方式等。

数据管理指导手册：这是执行操作的具体指南，具有可操作性，包括数据录入、绩效考核等方面的规定。

这些制度和指南可以帮助确保数据管理工作按照规范进行，从而提高数据管理的效率和质量。

 

企业数据架构

企业数据架构包括企业业务架构、企业数据架构、企业应用架构和企业技术架构。这些架构之间的关系如下图所示：

很多人可能对这些不同架构有些混淆，下面对它们进行简要的解释。

 

企业业务架构：它包括企业的管理组织、业务板块划分等，是企业整体业务的概况。

企业数据架构：这个层面关注数据在业务架构基础上的管理，包括哪些部门负责管理哪些数据，以及如何管理数据。

企业应用架构：这包括系统的功能应用，如设计业务逻辑、功能模块等。

企业技术架构：它主要关注软件平台部署、技术工具部署等技术方面的架构。

企业数据架构是数据治理工作的基础，它可以有助于数据工作的高效推进，资源的集中，思路的统一，以高效地完成从业务到系统的建设工作。

 

数据管理标准

数据管理标准涵盖了数据生产、数据传输和数据应用的全生命周期过程中的规范要求。这包括数据录入标准、数据传输标准等。数据录入标准涉及数据的生成过程，需要明确数据是如何生成的、由谁生成、何时生成等。

数据可以通过手动录入或自动采集方式生成。自动采集需要预先设定规则来确保数据的准确性。数据录入标准的制定和执行可以提高数据质量。

 

数据质量管理

数据质量管理旨在确保用户关注的数据具有高质量。它包括设定数据质量管理目标、明确各类数据质量需求、建立持续更新的数据质量规则库等。数据质量的维度包括唯一性、一致性、准确性、完整性、有效性和及时性等。

这些维度的规则可以帮助监测和评估数据质量，同时也需要不断更新以适应不断变化的需求。数据质量管理的目标是满足业务需求，因此需要明确哪些数据质量指标对业务具有关键意义。

 

数据执行与落地

数据执行与落地包括数据系统建设、数据安全管理、数据生命周期管理标准等。在此，我们重点强调系统的设计和执行。系统的设计需要平衡控制和业务规则之间的关系。

系统的操作应该人性化，满足用户需求，提高用户体验。系统的控制应该强调逻辑性，按照规则执行，确保数据的质量。系统操作应考虑到业务转型，不仅仅是改变系统，还需要改变业务流程，以实现数字化转型。

 

总之，数据治理方法虽然各有不同，但需要根据企业的实际情况进行调整和应用。没有一套适用于所有情况的绝对正确的方法，但通过方法论的引导，结合实际业务，不断总结经验，解决最紧迫的数据问题，才能实现数据管理工作的价值，提高企业的数字化能力，加速企业的战略转型、思维方式转变和业务转型，提高企业未来的市场竞争力。

（部分内容来源网络，如有侵权请联系删除）