什么是数据集成

数据集成是将来自不同来源的数据组合到统一视图中的过程：从摄取，清理，映射和转换到目标接收器，最后使数据对访问它的人更具可操作性和价值。 今天的企业建立数据集成计划，以更有效地分析和处理其数据，特别是随着数据和新云和大数据技术的爆炸式增长。数据集成是现代企业改善战略决策和提高竞争优势的必要条件。

数据集成没有通用的方法。但是，数据集成解决方案通常涉及一些常见元素，包括数据源网络，主服务器和从主服务器访问数据的客户端。

在典型的数据集成过程中，客户端向主服务器发送请求以获取数据。然后，主服务器从内部和外部源获取所需的数据。数据从源中提取，然后以统一的统一形式组合。这以可用，有凝聚力的形式回馈给客户。

为什么数据集成很重要

即使公司正在接收所需的所有数据，该数据通常也存在于许多单独的数据源中。例如，对于典型的客户360视图用例，必须组合的数据可能包括来自其CRM系统，网络流量，营销运营软件，面向客户的应用程序，销售和客户成功系统，甚至合作伙伴数据的数据，仅举几例。来自所有这些不同来源的信息通常需要整合在一起以用于分析需求或操作操作，对于数据工程师或开发人员来说，将这些信息汇集在一起并非易事。

我们来看一个典型的分析用例。如果没有统一数据，单个报告通常涉及在分析可能发生之前，在多个站点上登录，访问本机应用程序中的数据，复制数据，重新格式化和清理。

尽可能高效地开展所有这些操作突出了数据集成的重要性。它还展示了深思熟虑的数据集成方法的主要好处：

1.数据集成改善了系统的协作和统一

每个部门的员工 - 有时在不同的物理位置 - 越来越需要访问公司的共享和个人项目数据。IT需要一个安全的解决方案，通过所有业务线的自助服务访问来提供数据。

此外，几乎每个部门的员工都在生成和改进其他业务所需的数据。数据集成需要协作和统一，以改善整个组织的协作和统一。

2.数据集成节省时间

当公司采取措施正确整合其数据时，它会大大减少准备和分析数据所需的时间。统一视图的自动化消除了手动收集数据的需要，员工不再需要在需要运行报表或构建应用程序时从头开始建立连接。

此外，使用正确的工具，  而不是手动编写  集成，可以为开发团队返回更多的时间（以及整体资源）。

在这些任务中节省的所有时间都可以用于其他更好的用途，更多的时间用于分析和执行，以使组织更具生产力和竞争力。

3.数据集成减少错误（和返工）

关于公司的数据资源，有很多事要跟上。要手动收集数据，员工必须知道他们可能需要探索的每个位置和帐户，并在开始之前安装所有必需的软件，以确保他们的数据集完整和准确。如果添加了数据存储库，并且该员工不知道，则他们将拥有不完整的数据集。

此外，如果没有同步数据的数据集成解决方案，则必须定期重新报告以应对任何更改。但是，通过自动更新，可以在需要时实时轻松地运行报告。

4.数据集成提供更有价值的数据

数据集成工作实际上会随着时间的推移提高业务数据的价值。随着数据集成到集中式系统中，可以识别质量问题并实施必要的改进，最终产生更准确的数据 - 质量分析的基础。

现代商业中的数据整合

数据集成并非一刀切的解决方案; 正确的公式可以根据众多的业务需求而变化。以下是数据集成工具的一些常见用例：

利用大数据

数据湖可能非常复杂且数量庞大。例如，Facebook和谷歌等公司处理来自数十亿用户的不间断数据涌入。这种信息消费水平通常被称为大数据。随着越来越多的大数据企业的出现，企业可以利用更多的数据。这意味着对复杂数据集成工作的需求成为许多组织运营的核心。

创建数据仓库

数据集成计划 - 尤其是大型企业 - 通常用于创建数据仓库，这些仓库将多个数据源组合到关系数据库中。数据仓库允许用户以一致的格式运行查询，编译报告，生成分析和检索数据。

简化商业智能（BI）

通过提供来自众多来源的统一数据视图，数据集成简化了商业智能（BI）分析过程。组织可以轻松查看并快速理解可用数据集，以便获得有关业务当前状态的可操作信息。通过数据集成，分析人员可以编译更多信息以进行更准确的评估，而不会被大量产品所淹没。

与业务分析不同，BI不使用预测分析来进行未来预测; 相反，它侧重于描述现在和过去，以帮助战略决策。这种数据集成的使用非常适合数据仓库，其中易于消费的格式的高级概述信息很好地对齐。

ETL和数据集成

提取，转换，加载（通常称为  ETL）是数据集成中的一个过程，其中数据从源系统获取并传送到仓库中。这是数据仓库正在进行的持续流程，可将多个数据源转换为有用的，一致的商业智能和分析工作信息。

数据集成的挑战

采用多个数据源并将其转换为单一结构内的统一整体对自身来说是一项技术挑战。随着越来越多的企业构建数据集成解决方案，他们的任务是创建预先构建的流程，以便在需要的地方持续地移动数据。虽然这可以在短期内节省时间和成本，但实施可能受到许多障碍的阻碍。

以下是组织在构建集成系统时面临的一些常见挑战：

• 如何到达终点  - 公司通常会从数据集成中了解他们的需求 - 针对特定挑战的解决方案。他们经常没有想到的是到达那里需要的路线。任何实现数据集成的人都必须了解需要收集和分析的数据类型，数据的来源，将使用数据的系统，将要进行的分析类型以及需要更新数据和报告的频率。
• 来自遗留系统的数据  - 集成工作可能需要包括存储在遗留系统中的数据。然而，这些数据往往缺少标记，例如活动的时间和日期，而现代系统通常包括这些标记。
• 来自更新业务需求的数据 -如今的新系统正在从各种来源（如视频，物联网设备，传感器和云）生成不同类型的数据（如非结构化或实时）。弄清楚如何快速调整数据集成基础架构以满足集成所有这些数据的需求对于您的企业获胜至关重要，但由于数据量，速度，新格式都带来了新的挑战，因此非常困难。
• 外部数据  - 从外部来源获取的数据可能不会以与内部来源相同的详细程度提供，因此难以以相同的严格程度进行检查。此外，与外部供应商签订的合同可能会使整个组织内的数据共享变得困难。
• 保持联系  - 一旦集成系统启动并运行，任务就不会完成。数据团队有责任使数据集成工作与最佳实践保持一致，以及组织和监管机构的最新要求。

然而，正确的数据集成平台可以缓解大多数这些挑战。有  免费的开源数据集成解决方案  ，有助于开展业务。

如何整合业务数据

以下是几种集成数据的方法，这些方法取决于业务规模，满足需求和可用资源。

•  手动数据集成  只是个别用户通过直接访问接口手动从各种来源收集必要数据，然后根据需要清理它，并将其组合到一个仓库中的过程。这是非常低效和不一致的，除了最小的数据资源最小的组织之外，几乎没有任何意义。
• 中间件数据集成  是一种集成方法，其中中间件应用程序充当中介，有助于规范化数据并将其带入主数据池。（考虑使用过时连接点的旧电子设备的适配器）。传统应用程序通常不能很好地与其他人一起使用。当数据集成系统无法独立访问其中一个应用程序的数据时，中间件就会发挥作用。
• 基于应用程序的集成  是一种集成方法，其中软件应用程序定位，检索和集成数据。在集成期间，软件必须使来自不同系统的数据彼此兼容，以便它们可以从一个源传输到另一个源。
• 统一访问集成  是一种数据集成，专注于创建前端，使数据在从不同来源访问时看起来一致。但是，数据保留在原始来源中。使用此方法，可以使用面向对象的数据库管理系统来创建不同数据库之间的一致性外观。
• 通用存储集成  是数据集成中最常用的存储方法。来自原始源的数据副本保存在集成系统中，并进行处理以获得统一视图。这与统一访问相反，后者在源中留下数据。通用存储方法是传统数据仓库解决方案背后的基本原则。

在数据集成工具中查找的内容

数据集成工具  有可能大大简化这一过程。您应该在数据集成工具中查找的功能包括：

• 很多连接器。 世界上有许多系统和应用程序; 数据集成工具拥有的预构建连接器越多，团队节省的时间就越多。
• 开源。 开源架构通常提供更大的灵活性，同时有助于避免供应商锁定。
• 可移植性  随着公司越来越多地转向混合云模型，能够构建一次数据集成并在任何地方运行它们，这一点非常重要  。
• 便于使用。数据集成工具应易于学习，并且易于使用GUI界面，以使数据管道的可视化更加简单。
• 透明的价格模型。 您的数据集成工具提供商不应该指望您增加连接器或数据量。
• 云兼容性。您的数据集成工具应在单个云，多云或混合云环境中本机工作。

数据集成入门

对于组织来说，跟上现代商业需求的步伐越来越迫切，并且越来越多地需要数据冲击。了解数据集成所服务的需求，实现数据集成的方法以及实现中出现的障碍应该为发现任何企业或组织的最佳数据集成选项提供充分的先机。

（部分内容来源网络，如有侵权请联系删除）