您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 大数据 > 正文

CIO必看!2022数据治理发展五大趋势

发表于:2022-03-25 作者:佚名 来源:元年研究院

数据治理是释放数据要素价值、推动数据要素市场发展的前提与基础。经过多年发展,我国数据治理在政务、金融、通信、电力、互联网等领域已经逐步深化落地。进入2022年,数据治理领域将出现新老玩家全面入局,新挑战与老问题共同推动数据治理实践向前发展的趋势。

趋势一:业务牵引的精细化治理成为主流

早期开展数据治理的企业往往从建设数据治理平台工具开始,认为数据问题是技术问题,可以通过纯技术手段解决。但由于缺少业务部门的参与,缺少相关流程、规范和机制,技术部门难以单方面推动数据治理工作。随着DMBOK、DCMM等理念框架的建立和推广,数据治理的组织、制度、流程、规范等受到重视,企业开始将咨询引入数据治理体系,结合企业自身的业务特点、组织架构、数据管理现状等做整体的规划。在完整的体系指导下,数据治理工作得到不同程度的落地,并在部分领域获得较好的实践经验。但在各项治理工作推行并取得成果后,数据治理团队又开始面临工作的价值问题。

基于理论体系、方法论规划开展的数据治理在执行上着重数据标准、数据质量等管理能力的建设,在实践中往往是全面展开,缺少对业务的关注。以元数据为例,全业务域的元数据梳理涉及多个业务部门、多个业务系统以及多个相关供应商,而元数据梳理又是一项细致的工作,在有限的时间范围内,要协调多方梳理元数据,不但投入的成本大,而且质量难以保证,价值收益不明显。

随着企业数据治理的逐步深化,企业普遍意识到治理工作聚焦的重要性,而聚焦又包括两个维度:一是业务聚焦,针对高层关注的数据应用或当前重点应用建设项目,在应用涉及的数据范围内开展精细化治理,投入小、见效快,可以在小范围内快速验证和迭代数据治理相关的方法、流程、规范,然后再复制推广,形成适合自身的数据治理工作机制。二是在治理能力方面聚集,不同行业,不同阶段的企业开始关注适用于自身的数据治理发展路径。如金融业注重数据标准化;地产行业则关注项目、楼栋等主数据的拉通;处于数字化转型初期的企业需要在平台建设起步前做整体的规划,提升阶段的企业则更适合对当前工作做全面评估并针对性地在部分能力域进行提升。

企业数据治理的这一需求趋势,对数据治理服务商的方案能力提出了更高的要求,一套方案走天下的时代已一去不返。与企业共同探讨,不断追求落地、创新成为未来数据治理服务商竞争力的关键。

趋势二:数据治理和数据平台一体化建设

数据治理工作是随着数据应用的深化而逐步推进的。除了早期实施ERP的企业会对主数据特别关注外,多数企业对数据治理的需求源于BI分析或数据仓库、大数据平台、数据中台等数据平台的建设。数据问题可能早就存在,但在数据集成、共享、关联分析和应用时才暴露。

很多企业是在数据平台建设后才开展数据治理,其模式可以称为“外挂”式的数据治理。平台先建设、运营,遇到数据问题,再成立或寻找第三方数据治理服务团队。数据治理团队通常与平台建设、数据运营不是同一团队,在其中扮演监管者的角色,无法深度融入到数据开发、服务等环节,一定程度阻碍了数据治理工作落地。

数据平台的建设和运维团队则是数据治理需求的最迫切人群,这些人数据问题的思路又分为了两个方向:一是从平台架构、技术方面思考解决方法,二是从数据治理中寻求解决方法。第一个方向发展出数据中台,数据中台的数据资产、统一元数据、数据超市与数据治理不谋而合。第二个方向上,数据治理从早期的元数据、数据标准、数据质量发展为一个包含数据模型、数据服务、数据应用、数据生命周期的完整体系。最终两个方向殊途同归。选择数据中台,将数据平台建设与数据治理作为一个整体方案规划和建设的模式正越来越流行。

趋势三:人工智能技术与数据治理理念走向融合

当前,不同的产业领域都在积极挖掘人工智能的应用场景。数据治理作为企业实现数字战略的基础,同时是人工智能应用的基础。以当前大热的技术机器学习为例,大数据样本是机器训练的基础,数据治理为机器学习技术的应用提供高质量的合规数据。同时,数据治理需要业务人员、技术人员与数据治理专业人员持续地协同工作,随着数据量、数据复杂度以及系统架构的爆发式增长,企业需要越来越多地持续投入治理成本。

数据治理与人工智能的关系相辅相成,一些大型企业已经在人工智能领域进行探索。目前人工智能在数据治理场景中的主要应用包括智能化元数据维护、智能化数据质量规则生成、智能化数据安全分类分级等。

总体来看,人工智能在数据治理场景中的应用大多还在试验阶段,准确性是当前影响实用化推广的主要原因。以智能化元数据维护为例,机器通过训练使AI掌握企业的业务知识,再利用训练的业务知识自动填充元数据的业务信息。然而,由于机器的填充无法保证百分百准确,因此往往需要人工确认、调整,这部分工作依然需要巨大的工作量。

表面上看,这是机器的准确率问题,但其本质是管理理念的问题。当人工智能与人类都无法做到百分百准确,人们更倾向相信人类,因为对于人,我们有一套非常成熟的管理手段。以大家最熟悉的自动驾驶为例,虽然已经有报告显示自动驾驶比人工驾驶更安全,但机器代替人类的驾驶依然需要一个缓慢的接受过程:一是多数人无法理解人工智能的工作原理,也无从分析和预测人工智能出错的原因;二是伦理、法律等问题:人工智能出了事故谁负责?紧急情况下是保护自己,保护对方,还是保护第三方?这都是在伦理、法律上先要梳理清楚的问题;三是无法通过管理手段控制人工智能。

回到数据治理的智能化上,尽管当前人工智能的应用已有一定成果,但仍是基于传统管理思维的应用。智能化的治理更多只是作为人类工作的一种参考,最终工作还是落到人的头上。在人工智能技术不断进步和应用实践不断积累的推动下,未来数据治理体系和理念必然发生变化,两者的融合是未来的趋势。

趋势四:数据价值评估需求开始增长

数据已成为国家战略性资源,并作为新型生产要素写入中央关于要素市场化配置的文件中。2020年3月中共中央国务院在《关于构建更加完善的要素市场化配置体制机制的意见》中指出:“提升社会数据资源价值。培育数字经济新产业、新业态和新模式,支持构建农业、工业、交通、教育、安防、城市管理、公共资源交易等领域规范化数据开发利用的场景”。同年9月,国务院国资委办公厅下发《关于加快推进国有企业数字化转型工作的通知》,要求各国有企业“明确数据归口管理部门,加强数据标准化、元数据和主数据管理工作”“定期评估数据治理能力成熟度”“强化业务场景数据建模,深入挖掘数据价值,提升数据洞察能力”。

我国数据交易起步较晚,交易市场主要由各大数据资源交易平台组成。2015年后我国开始重视数据交易并迅速成立了多家大数据交易平台,包括北京国际大数据交易所、湖南大数据交易所、华中大数据交易所、上海数据交易所、贵州大数据交易所、长江大数据交易所、东湖大数据交易所和等。此外还有京东万象、聚合数据、数据宝等数据交易平台。

数据资产价值评估是量化数据资产价值的有效方式,推动企业持续投入资源开展数据资产管理,为企业参与数据要素流通奠定基础。目前,我国一些大型企业或金融机构已率先在数据资产估值领域开展研究。2021年1月,光大银行发布《商业银行数据资产估值白皮书》,系统研究了商业银行的数据资产估值体系建设,提出了成本法、收益法、市场法等货币化估值方法。2021年3月,南方电网发布《中国南方电网有限责任公司数据资产定价方法(试行)》,规定了公司数据资产的基本特征、产品类型、成本构成、定价方法并给出相关费用标准,为后续数据资产的高效流通做好准备。2021 年 10 月,浦发银行发布《商业银行数据资产管理体系建设实践报告》,根据数据资产能否直接产生价值,将数据资产分类为基础型数据资产和服务型数据资产,并将数据资产写入资产负债表、现金流量表和利润表之外的第四张表—数据资产经营报表。

定价是市场交易的关键,在数字经济发展的大潮下,无论政府、企业,都在积极探索并实践数据资产的价值评估。

趋势五:数据安全受到越来越多的关注

在数字经济的应用场景下,数据只有在流通中才能充分发挥其价值,而数据流动又必须以保障数据安全为前提。传统的信息安全往往追求将数据放在一个封闭的环境中,这种片面的做法只能理解为是一种简单的保证数据的“防窃取”,而当下,数据共享是发展趋势,数据安全应该包括防止数据被窃取、被滥用、被误用,同时充分的将数据的“保密性”“完整性”和“可用性”这三个重要的数据指标考虑进去。

《数据安全法》《个人信息保护法》的颁布和实施为规范数据处理活动、保障数据安全和个人、组织的合法权益奠定了法律基础,同时也对组织的数据安全治理能力与个人信息保护能力提出了更高的要求。

全国信息安全标准化技术委员会等单位牵头研究并发布了《GB/T 37937-2019 信息安全技术 大数据安全管理指南》《GB/T 37988-2019 信息安全技术 数据安全能力成熟度模型》等国家标准。业内基本对数据安全分类分级,以及数据采集、传输、存储、处理、交换、销毁全生命周期分级保护等观点达成共识。目前法律和政策上对国家、公众、个人数据安全的定义较为明确,但是对企业或其他法人组织数据权益的相关定义则相对较粗。

数据安全涉及法律、企业业务、技术等多领域的知识,目前多数组织的数据安全能力处于较为初步的阶段,对于数据资产流通的需求却在逐步攀升。随着越来越多的企业进入数字化转型阶段,数据的安全合规问题越发突出和普遍。未来数据安全将受到越来越多的关注。

数据治理在中国发展不过十几年时间,而最近十年间,数据量、数据种类、处理数据的软硬件技术条件、数据的应用场景都发生了巨大的变化。很多开展数据治理大规划的企业,喜欢将当年称为“公司数据治理的元年”。然而对数据治理人来说,每个时期都既有老问题,又有新挑战。数据治理,年年都是元年。