您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 大数据 > 正文

数据网格有望升级整个IT系统

发表于:2022-10-22 作者:布加迪 来源:51cto

译者 | 布加迪

策划 | 云昭

数据网格正迅速成为数据领域的一种重要架构模式。我们IT人士有这样一种习惯:创造流行语,然后紧跟潮流。然而,数据网格并不是仅仅是流行词,原因是它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域都会有影响。

当前数据级别的报告单

在我们将数据提升到下一个级别之前,简要介绍一下当前数据级别的进度或报告单。下图显示了数据在如今的 IT系统中通常是如何处理的。

 

图1. 来自诸系统的数据流入DWH或数据湖

如上所示,来自诸多事务/运营和外部系统的数据将通过ETL作业网络流入数据仓库。在最终消费者可以聚集/汇总和使用这些数据之前,将完成许多活动,比如清理和转换等。

几十年来,这种方法一直屡试不爽。但在当今数据无处不在的世界,这种方法却遇到了瓶颈。现代数据湖方面也是如此。事实上,在大多数情况下,数据湖的情况更糟。

大数据/物联网和数据流出现后,大多数组织不知道如何处理数据。虽然它们知道数据是新的石油,但不知道如何提炼和使用这种油。它们甚至对想要使用这些数据来处理的分析用例没有太多想法。也许数据湖这个流行语使它们随波逐流。由于别人都在搞数据湖,所以越来越多的人开始仿而效之。

前面说过,数据湖方面的情况更糟。主要原因是,就数据仓库而言,大多数组织仍采用某种治理和策略。但是就数据湖而言,在大多数情况下,所有类型的数据(结构化/日志/流数据等)都只是被转储到某种廉价存储系统中,其想法是将来会有相应的用例,能够得益于正在开挖的这个新油田。但愿望并不总是成真。

报告单中一些有待改进的方面

•随着数据集中起来,加上数据无处不在,数据的数量和速度变得如此庞大,因此集中式系统无力处理。

 

•数据工程师/数据仓库团队对运营数据、领域和复杂性了解不多。

•如何在这种系统中处理变更方面没有太多的灵活性可言。

应用程序层如何提升到下一个级别?

在过去几年,领域驱动设计和微服务确实改变了应用程序层的处理方式。一个庞大的单体应用系统被转换成特定领域的功能或微服务。这让领域团队得以专注于各自针对特定领域的功能。他们对各自领域了如指掌,更不用说我们在这类环境中看到的敏捷性了(当然,还有出色的工具和流程,比如CI/CD、DevOps和容器等)。

 

图2

 

使用领域驱动设计将单体应用程序转换成微服务

如果只看上面两张图,会发现我们在应用程序层和数据层采取了完全相反的方法。在应用程序层,我们只是将单体应用程序分解成多个较小的单元,而在数据库层,我们将来自各个领域的数据放入到一个庞大的单体单元中。

 

这时候数据网格有了用武之地。不妨快速了解一下这个数据网格到底是什么。

数据网格架构将定义、创建、管理和共享数据产品的自主权赋予业务领域。所以基本上,每个业务领域都将拥有自己的数据。它们可以使用API等手段与消费者共享,但它们管理数据的整个生命周期。

1)由于没有一个庞大的集中式单体应用程序,单个数据产品可以更好地扩展(分布式扩展)。

2)每个领域团队拥有并管理其数据和产品(联合数据治理)。

3)每个产品团队比任何集中式团队更了解其数据和领域。

4)更好的敏捷性。

一点建议

如开篇所述,不要轻信流行语。数据网格到底是流行语还是非常适合?只有评估后才能做出决定。我发现许多人做错了SOA,做错了P2P,甚至做错了REST和微服务,当然还做错了数据湖。明智的决定的前提,是要看看它是否适合自己。

 

原文标题:Data Mesh — Graduating Your Data to Next Level,作者:Rohit Dhall

链接:​​https://dzone.com/articles/datamesh-graduating-your-data-to-next-level