您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 大数据 > 正文

数据中台“热”下的“冷思考”

发表于:2020-08-03 作者:数字化转型咨询 来源:今日头条

一、数据中台是真的“热”

在2018年之前可能只有一少部分人在谈“中台”,从2018年下半年开始,随着“BAJT”这些互联网头部公司的追捧,“中台战略”在中国迅速火了起来。2019 年的科技圈,最火概念之一就是「数据中台」,也有人将2019年称之为「数据中台」的元年。

2018 年 9 月,腾讯宣布新成立云与智慧产业事业群(CSIG)和技术委员会,后者将负责打造技术中台。

2018 年 11 月,阿里云事业群升级为阿里云与智能事业群,并开始对外输出中台能力。

2018 年12月,百度调整组织架构,由百度创始人、董事长李彦宏发信宣布:“百度将打造AI时代最领先的技术平台,实现前端业务和技术平台的资源高效统筹及组织全面协同。”

紧接着,2019年初,京东集团人力资源部发布关于京东商城组织架构调整的公告,公告内容称:“在新的组织架构下,京东商城将围绕以客户为中心,划分为前中后台。中台为前台业务运营和创新提供专业能力的共享平台职能。”

数据中台“热”下的“冷思考”

据知名调研机构Canalys2019年2月的相关数据报告,2018年全球云计算市场规模突破800亿美元,达到804亿美元,未来10-15年,“数据中台”也许会超越今天的云计算市场,形成一个万亿级市场,同时中国也将诞生1—2家SAP级别企业。

这股数据中台热,让很多科技企业都看到了这个「风口」,相继开启了数据中台的市场争夺战,都希望成为那头站在风口插上翅膀的「猪」。在这股数据中台热之风之下,很多企业也都跃跃欲试,希望借助数据中台驱动企业管理和业务创新,谱写出一个造富神话。

二、数据中台是什么?

  • 有人说:数据中台就是一个加强版的数据仓库;
  • 有人说:数据中台是大数据平台的延伸,是大数据的下一站;
  • 有人说:数据中台是数据资产的治理和应用的平台;
  • 有人说:数据中台是提供场景驱动的数据API、智能API的能力平台;
  • 有人说:数据中台是对内进行数据共享、对外提供数据开放的数据服务平台;

阿里的客户画像、产品推荐引擎,强调“千人前面”。在笔者看来「数据中台」也应当是“千人千面”的,以上对于说法都有道理,都正确,只是在不同的应用需求场景下的不同定义而已,不同的行业、不同的企业、不同的业务,所需要的数据中台并不同。

数据中台“热”下的“冷思考”

三、什么样的企业需要数据中台?

要说清楚哪些企业需要数据中台,我们不妨先看看都哪些企业在做数据中台。

如上文,数据中台的主要推动力量首先是“BAJT”这些互联网头部公司;其次,部分大金融公司,例如兴业银行也在调整组织架构,建设数据中台、推动“互联网+金融”的落地;第三,还有一些大型快消品的零售企业正在进行数据中台的探索,例如:百果园、耐克。我们不难发现不论是互联网公司、大型金融企业(银行、保险公司)还是大型的零售企业,他们都有以下几个共同的特点:

1、互联网+

金融公司、品牌营销企业、电信运营商、大型零售企业,以及BAJT等互联网公司,这些企业不是原生的互联网企业就是通过转型基于互联网来开展业务的企业。基于互联网开展相关的业务,尤其是移动互联网的应用为企业的需求端(市场和销售)带来了更多的机遇和挑战。互联网+,让企业有了驱动创新、跨界融合、重塑生态的可能,企业将可共享业务能力的提炼和可沉淀的数据资产放在一起,构建数据中台,以应对前端多变的竞争环境。数据中台的建设对互联网+下的企业人才、组织、服务、产品以及商业模式的创新、企业跨界融合和产业链的打通,重塑企业竞争生态将起到基础支撑作用。

数据中台“热”下的“冷思考”

2、数据量大

不论是金融、保险、证券、电信运营商这类大型企业,还是不“BAJT”这类大的互联网公司,他们都是IT建设较早、多年来沉淀了大量的数据资产。如果要给这类企业打个标签的话“大数据”无疑是其中一个重要标签,此类企业的日产生数据量是以每天TB级别计算的;而这些数据来源也比较复杂,有的是来自企业内部的各相关系统,有的是从外部采集/采购过来的数据;数据形态是多样的,呈现出结构化/半结构化/非结构化数据,实时/非实时数据并存的状态。企业需要通过对数据进行加工处理,形成高质量的数据服务,赋能业务、突破业务瓶颈,驱动业务创新、释放数据价值,数据中台无疑是这类企业非常合适的解决方案。

数据中台“热”下的“冷思考”

3、IT能力强

企业的IT能力主要从三个方面评价,①IT基础设施的建设情况,网络、云计算、应用系统的建设情况;②IT组织与人才队伍建设情况,IT人员占比、能力分布;③IT规模、信息化应用水平以及ROI等。大概在8年前,工商银行在实施统一开发平台时,当时的IT技术人员规模就有2000多人,为工商银行提供开发、实施、运维等IT服务。这2000多人包括了工商银行自身的IT团队和外包的信息化人员,从IT人员占比上来说像工商银行这样的企业就不是普通企业能够比拟的。对于互联网公司,可以说至少80%以上都是IT人员。所以,不论是金融、运营商还是互联网公司,这些企业自身的IT能力都特别强,强大的IT能力有利于推动IT架构的改进和共性能力的沉淀。

数据中台“热”下的“冷思考”

4、组织机构灵活

企业建设数据中台,最核心的是在企业级复用数据中台的服务能力和共享数据,而这些服务能否被有效复用,数据能否被有效共享,很大程度上取决于企业文化和组织体系的建设。笔者曾经接触过一个国内大型集成商企业,工作原因和该企业的多个部门都一些的往来,发现这家企业的每个部门都在搞自己的一套“基础技术平台”(可以理解为现在的技术中台)。对于“基础技术平台”他们各部门的定位和理解是比较一致的——提供各种底层基础功能,为业务应用的开发提供支撑。但每个部门都有自己的想法,搞法也不相同,有的是自己招人建团队在做,有的是采购第三方供应商产品。这家企业是典型的组织层级较深,组织间各种为政,这与“数据中台”要求的灵活的组织体系是不符的,在不调整组织架构的情况下,“数据中台”也很难在该类企业落地。

数据中台“热”下的“冷思考”

四、数据中台的演进史

按照著名的“诺兰模型”,「数据中台」的产生并不是意外,而是信息技术发展的必然产物,而「数据中台」也并非是一个新生的事物,按照「中台」的核心思想“提供共性能力和共享数据的服务平台”,不论是传统的SOA、还是数据仓库,其本质的思想并没有改变,只是随着技术的发展,时代赋予了「数据中台」的能力和职责更为明确和智能了。

数据中台“热”下的“冷思考”

按照“诺兰模型”,「数据中台」的演进经历了以下阶段:

1、单体应用期

数据业务化并不神秘,它就是我们常说的信息化时期,这个时期是企业信息化从起步到建设的时期,会计电算化(核心是财务系统的建设)、办公自动化(核心是OA系统的建设)、企业资源规划(ERP系统的建设)……都是这个时期的产物。随着信息系统的建设和应用,数据也在企业逐步沉淀了下来。

信息化初期,数据库是「数据中台」的原始形态,为应用系统的提供数据的存储。

2、数据集成期

随着信息系统的建设和应用,人们发现一个问题:以前的系统建设都是业务部门驱动的,缺乏整体的规划,各系统各自为政,标准不统一,形成了一个个烟囱式的孤岛。企业业务的发展需要各应用系统的协同,然而各系统从服务、流程、数据等层面都是割裂的,根本无法协同。领导想看企业的经营指标,需要切换到不同的系统才能看到,十分繁琐且报表质量无法保证。于是,就出现了以SOA为代表的各类系统集成工具和数据管理系统,例如:Potal、ESB、BPM、DW、ETL、MDM等。

信息化中期,「数据中台」的初步形态已经显现,并表现为:以Potal、ESB、BPM为代表的企业级应用集成;以主数据管理(MDM)、元数据管理为代表的数据治理;以数据仓库为代表的数据集中处理和初步的数据分析;SOA系列产品和工具的使用,一定程度上解决了企业的业务协同和报表分析的问题。

3、数据平台期

随着物联网、社交网络、云计算等技术不断融入我们的生活以及现有的计算能力、存储空间、网络带宽的高速发展,人类积累的数据在互联网、通信、金融、商业、医疗等诸多领域不断地增长和累积。互联网搜索引擎支持的数十亿次web搜索每天处理数万TB字节数据。全世界通信网的主干网上一天就有万TB字节数据在传输。现代医疗行业如医院、药店等也都每天产生庞大的数据量如医疗记录、病人资料、医疗图像等。数据的量级不断升级、应用的不断深入和大数据不可忽视的价值让我们不得不探索如何才能让我们更好的受益于这些数据。阿里巴巴马云指出:“人类正从IT时代走向DT时代!”。但随着数据越来越多,人们意识到,数据标准的不统一,垃圾数据的存在,让系统集成起来困难重重,分析结果无法保证。终于,有人提出:大数据也许并非是企业资产,如果不将数据治理做好,大数据只会是企业的包袱(数据的存储、处理、管理维护都需要成本),而只有“数据资产化”才能为企业带来价值。

信息化末期,人类正从IT时代走向DT时代。以Hadoop平台、Spark平台等为代表的大数据平台在解决企业大数据的存储和计算上提供基础支撑;以元数据驱动的大数据治理平台实现大数据地图的自动生成,数据血缘分析、影响分析,一定程度上解决了大数据环境下的数据质量问题。

4、智慧应用期

在信息化时代,IT在企业中一直起的是业务支撑的作用,扮演的是配角的角色,当然互联网公司除外。而当企业进入数字化时代,企业的业务和管理是一切看数据说话,看数据作业、看数据决策,数据是驱动整个企业的业务和管理的基础引擎。IT的角色从配角走上了主角的舞台,“IT即业务”。进入数字化时代,企业对于用数需求越来越高:以往看不见的数据,现在希望随时随地实时查看;以往可能需要在不同系统才能看到的数据,现在希望能够组合成一个场景进行展示;以往决策分析必须要到BI系统中看报表,现在希望在业务流程环节就能够展示相关的数据报表;以往的数据分析只能是对历史数据的可视化展现,做好一点的能够诊断部分业务问题,现在不仅需要看到历史的数据、业务问题分析诊断,还要能够对未来即将发生的事进行预测……

数字化时代,「数据中台」继承了大数据平台的海量数据存储和技术的能力,提供数据算力服务;继承了元数据管理、主数据管理的数据治理能力,提供数据资产的全生命周期管理服务;继承了数据仓库的数据集成和分析能力,提供数据报表、数据分析服务;同时,「数据中台」内置的算法中心、标签体系,提供各种AI服务,支持将数据场景化、智能化,全面驱动企业的业务智能、决策智慧,帮助企业实现数字化转型。

数据中台“热”下的“冷思考”

五、你的企业真的需要数据中台吗?

我们看到目前追捧「数据中台」的互联网公司、金融公司、运营商、大型零售企业,他们有四个共同的特点:互联网+下需求端的业务多变;数据体量大;IT能力强;组织机构灵活。

  • 有人问:“我们企业数据量没有那么大,IT人员没那么多,组织模式也比较固定,那我们是否需要建设数据中台?”
  • 有人问:“我们企业已经建设了数据仓库,实现了数据服务和数据分析,还有必要建设数据中台吗,需要怎么建、推到重来吗?”
  • 有人问:“我们企业是工业生产企业,数据量是大,但多数是设计图纸等非结构化数据和生产设备的边缘数据;我们的产品属于卖方市场,产品不需要通过互联网销售,需求端的变化不大,那我们是否需要数据中台?”

我们带着这些问题,我们回到本文的主题:数据中台“热”下的“冷思考”。之所以“冷思考”,就是不能人云亦云,盲目跟风,而是要谨慎思考和对待。

  • 数据中台建设不是“照葫芦画瓢”生搬硬套,不同性质、不同领域的数据中台能长的一样吗?显然不是!
  • 数据中台建设需要将之前信息化建设成果推翻,重头构架?浪费资源!
  • 数据中台建设采购一套强大功能的数据中台产品就能包治百病?哪有那么好的事!

从「数据中台」的演进史来看,它是信息化发展的必然产物,或许「数据中台」是每个企业都需要的,只是不同的行业、不同的企业、不同的业务,所需要的数据中台并不同。互联网企业的数据中台再牛也并不一定适应传统工业企业;而工业互联的大数据平台却也是数据中台的一种形态或基础能力;数据中台的建设,技术和工具固然重要但也不能过于迷信;企业建设数据中台还是应当从企业的业务需求出发构建与企业相匹配的一套数据应用的流程机制。

作者:石秀峰 专注于数据领域知识分享:数据治理,数字化转型,数据分析等