数据架构：它是什么？

该DAMA DMBOK2说，数据架构“定义的蓝图与组织策略相吻合建立战略数据要求和设计，以满足这些要求的管理数据资产。”特纳指出，这个定义的三个关键部分，第一个是单词“蓝图“这意味着任何没有实施计划的数据架构都可能会保留在架子上，直到永恒的迷雾上升为止。”

第二个关键部分是“与组织战略保持一致。” 他说，数据架构必须直接与业务目标以及数据如何支持这些目标相关联。第三部分是关于建立战略数据要求。因为“任何有效的数据架构都必须具有前瞻性。”

他引用了Donna Burbank和Charles Roe 撰写的题为“ 数据架构趋势”的DATAVERSITY研究报告，指出了对该问题的一系列回答：“什么是数据架构？”

“我们在数据管理中遇到的一个问题是，如果您采用任何数据管理概念或术语或规则，不同的人会以不同的方式对其进行定义。”

无论如何定义，数据架构都必须具有一些具体的可交付成果，例如规范，不同抽象级别的主设计文档，以及数据通过系统的所有容器和路径的描述。如果没有这些可交付成果，他说，“那么显然，你实际上并没有为企业提供任何有价值的东西。”

数据架构的典型可交付成果

标准可交付成果包括： 

• 有关数据使用，指导原则，使用意图声明和问责机制的政策
• 数据模型包括企业概念模型，逻辑数据模型，物理数据模型和特定于应用程序的逻辑数据模型
• 数据目录
• 数据来源清单
• 主数据或参考数据，以及广泛共享的数据
• 定义关键数据，包括词汇表，词典，定义和应用标准
• 元数据及其管理方式
• 数据沿袭和流经系统
• 实施的路线图

“如果你已经掌握了所有这些东西，那么你就有机会获得可行的数据架构。”

数据架构：如何失败

• 试图设计一个包含管理，处理，收集和存储一切的架构：“避免沸腾海洋。将您的架构专注于对您的业务运营和运营至关重要的事情。“
• 由IT部门完全管理，驱动和设计的数据架构最终可能成为新技术的购物清单，而不是支持业务战略的计划。“尊重IT部门的人员，他们并不总是了解数据如何支持业务战略的最佳人选，因此，架构需要如何发展以实现这一目标。”
• 如果没有业务和IT方面的高级管理层的积极支持，成功的可能性就不大。“它不应该专门针对组织中间的人员。”
• 如果您的架构过于复杂，则不太可能保持最新状态。特纳分享了一个关于他作为顾问工作的公司的故事。该公司有一个非常详细的数据模型覆盖整个房间的墙壁。他们为这个模型感到非常自豪，但在几年的时间里，特纳注意到同一个模型在同一面墙上，没有变化，这意味着它不仅仅用于墙面装饰。
• 长期规划很重要，但不要忽略具体的短期效益。他说，数据架构“如果你没有附加硬件可交付成果，那仍然是一个梦想。”建立一些快速的胜利。

做对了

有效数据架构的主要功能包括与业务驱动因素保持一致的数据战略，针对基本数据，描绘明确的活动和里程碑，并且具有足够的灵活性，可随业务需求和可用技术发展。最重要的是，架构必须易于管理。“你永远无法在任何地方整理所有数据。你需要专注于真正有所作为的事情。“

制定数据战略

特纳概述了数据战略的简单途径。从业务战略开始，确定哪些数据对支持该战略至关重要。评估您拥有的数据并确定是否由任务决定，如果不是，请确定改进它所需的内容。特纳指出，改进可能需要来自业务方面，而不是来自IT。例如，如果每个部门使用不同的代码或术语来表示“客户”，那么这显然会影响业务战略，可能需要改变以适应这一障碍。“

今天的数据：范围，规模和复杂性

在过去十年中，公司和组织正在处理的数据量大幅增加。目前存储的所有数据中有90％刚刚在过去两年中创建。换一种方式：

“地球上有2.5个五分之一的沙粒。顺便说一下，一个跟随十八个零的人。每天创建三倍的数据字节数。所以，这个范围和规模绝对是惊人的。“

 然而，这不只是关于范围和规模，他说。复杂性也是一个因素。因为许多公司还没有掌握基础知识 - 数据管理，数据质量以及确保所使用的数据符合预期目的 - “将来忘记所有新技术。这就是今天的现实。“

数据架构的业务驱动因素

商业智能和数据科学是数据架构的驱动因素，因为它们是IT领域的强劲增长领域。与此同时，降低成本，提高效率和遵守法规也为改善数据治理带来了压力。他说，另一个原因是，“我怀疑，目前大多数组织管理数据的现状仍然很差。”

他引用了去年在“哈佛商业评论”上发表的一项研究。研究人员调查了75家公司，要求这些公司的高级管理人员检查一系列记录的准确性，这些记录来自被认为对公司有效运营至关重要的关键系统。“结果真是令人震惊，”他说，因为一百个中只有三个记录没有错误。“在这75家公司中检查的所有记录中有97％存在一些可能影响业务绩效的严重错误。”

特纳表示，数据湖最大的问题是缺乏有效的数据治理。由于缺乏一致的数据定义和元数据，因此当人们访问这些数据湖中的数据时，“他们并没有得到最模糊的想法。”

他说，为了从数据中获得洞察力而获得高工资的数据科学家却花费大部分时间做低级别任务，只是为了让数据处于可用状态。

“大数据和分析带来的所有伟大承诺，以及公司正在收集的所有这些数据 - 实际使用的不到百分之一。”

他将目前的情况比作灭火过程，而不是采取积极主动的方式来预防火灾。我们需要的是一个连贯有效的数据架构，重点是识别问题，创建解决方案，并建立预防性的主动治理。“换句话说，你可以阻止火灾爆发，而不是等到火灾发生，然后以反应的方式对抗它们。”

数据治理：从反应式转变为主动式

特纳分享了全球数据战略对数据治理的定义：以业务为主导的持续流程，为所有数据利益相关者的利益改进数据。虽然最初的实施可能是作为一个项目开始的，但“最终，你要确保它作为业务流程在后台运行，实际上与所有其他业务流程一起运行。”

数据治理的七个关键原则

• 必须主动管理数据
• 企业应负责领导治理工作
• 企业必须确定改进数据的优先级，关注哪些数据以及应该具有哪些影响
• 数据所有者必须对关键数据负责
• 数据管理员负责数据改进
• IT提供了使数据治理在物理世界中真实的技术
• 组织中的每个人都必须作为任何数据治理活动的一部分

“每个组织都需要数据架构，但需要应用的程度和位置因组织而异，没有人比治理专业人员更好地帮助架构师做出决策。”

他说，数据治理和数据架构相互支持和相互促进。Turner 分享了概述数据治理和数据架构之间协同作用的幻灯片，强调了两者的关键优势。

数据管理员可以识别关键数据以及数据状态如何影响业务，这有助于优先构建和发展架构。数据所有者应该告知有关在架构中实现的数据的业务规则。业主和管家有能力作为冠军并帮助建筑师为数据架构的更多投资建立一个案例，因为“他们将了解数据缺陷的当前含义以及以更有条理的方式管理数据的重要性，”他说过。

数据架构可以通过在物理层面上制定治理策略来支持数据治理，以便它们可以在现实世界中实施，而不仅仅是作为抽象概念。数据模型可以说明哪些数据需要治理，并且可以突出显示参考和主数据集，Turner说，“需要成为组织中最密切的管理和拥有者。”数据架构有助于围绕关键数据建立业务和IT共识，确保企业与IT合作执行已确定的优先事项。

使数据治理与数据架构保持一致

特纳说你从哪里开始并不重要。重要的是，数据架构和数据治理的学科汇集在一起形成一个持续的改进周期，确保“您的数据越来越好，并根据业务需求不断发展”。

特纳以雅典卫城的照片结束了他的演讲，以说明持久建筑的重要性。为了建造一座可以使用超过2500年的寺庙，希腊人花了很多时间练级和准备它所在的山丘的基础。

“任何渴望对数据做同样的组织，换句话说 - 创建一个持久的，可忍受的数据驱动的业务 - 应该认识到你需要数据架构和数据治理，并且他们需要共同努力，为未来。”