您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 大数据 > 正文

谈谈构建有效数据治理策略的十条建议

发表于:2022-10-22 作者:晓晓 来源:马晓东国云数据CEO
在依靠分析进行全部或部分战略决策之前,必须实施适当的流程以确保数据顺利通过所有业务部门,同时保持其质量、可访问性、可用性和安全性。以下是制定有效数据治理策略的10条建议。

1. 诊断组织内的数据资产

对组织有价值的数据,就必须知道如何有效地选择、收集、存储和使用,尤其是在数据量大且容易丢失的情况下。

我们可以通过盘点组织中存在的所有数据、识别其各种来源(管理系统、网站、社交网络、营销和广告活动等)开始执行此操作,然后定义由于数据质量差而造成的价值损失的点。请关注以下5点内容:

  • 数量:随着连接对象使用的增长、地理定位的发展以及数字营销分析的兴起,近年来要存储和处理的数据量呈爆炸式增长。确定数据库中保存的数据量以指导组织的数据管理方法。
  • 多样:数据可以是复杂多样的,也可以是结构化的或非结构化的(语音、生物识别、交易、网络分析、文本、图像等)。它也可以来自广泛的信息系统。在不同的地方捕获它,集中它并交叉检查它,以详尽的方式映射所有数据。
  • 速度:因为我们生活在一个即时、个性化和预测性营销的时代,我们需要越来越快速和主动地行动以满足客户的需求。选择具有强大计算能力的高性能软件,这些软件既灵活又融合了最先进的机器学习。审视基础架构,根据组织的需求选择最有效的工具,并建立健全的技术基础。
  • 准确:这是数据处理的主要目标之一。收集和处理的数据的可靠性可能会受到许多方面的威胁:声明性错误(表格)、收集点的多样性、机器人的行为、恶意行为和其他错误、人为错误等等。分析中也可能存在许多偏差。因此,对所有数据的质量和准确性进行诊断非常重要。
  • 价值:组织使用的数据必须与业务和战略目标完全一致,并为品牌和客户创造价值。在信息过多的环境中,它是关于能够统一所有数据,并且仅将对有用的数据统一起来,并迅速采取行动以产生利润或洞察。

2. 围绕共同的数据治理战略团结整个组织

除了进行数据诊断外,重要的是组织所有部门都参与到数据的使用中,从综合管理到运营和现场团队,包括所有团队负责人。所有员工都应充分了解共享、高质量、去孤岛数据的挑战和好处。

要让整个组织都参与到这一转变中,请考虑以下阶段:

  • 与不同的部门进行个人或小组访谈,以更好地了解当前的数据情况,确定具体的组织要求并考虑对数据治理的期望。利用这个机会让团队意识到利用劣质或不安全数据的潜在风险,无论是为了他们自己的业务还是为了公司的整体业绩。
  • 举办实践研讨会,旨在共同构建部署数据治理的整体方法框架。
  • 在一系列公司员工的支持下,分析与特定数据范围相关的特定或重复出现的业务问题的真实场景。例如,在电子商务领域,这可能集中在产品包装尺寸的错误上,这些错误会导致各种物流困难或放弃购物,因为客户发现交付成本过高。 

关键是要引起兴趣并与接受、需求和投资的员工一起启动数据治理项目。还可以围绕起草一份概述任务、主要目标和所有相关人员角色的通用数据治理章程将团队团结起来。

最后,建立和传达整个组织共有的或更具体到每个业务单元的战略目标,然后列出组织的所有绩效指标,以便每个人都了解他们在支持治理中的作用。

3. 选择既适合组织结构又适合敏捷的数据治理运营模式

在启动数据治理项目时,应该避免陷入试图同时解决所有技术、组织和监管问题的陷阱。用过多的数据治理相关任务使每个人的日程过多可能会危及成功的机会。不要低估获得第一个切实成果所需的时间。建立一个由利益相关者验证的精确路线图,其中包含中间里程碑,以评估迄今为止所做的努力和进展。

遵循相同的原则,请记住存在几种不同的数据治理模型。选择最适合组织的环境、需求、人力和财务资源以及数据管理成熟度阶段的一种。

4. 选择利益相关者并确定所有数据参与者

过去,有一种趋势是将数据治理完全由 IT 团队负责。在当今的数据驱动型组织中,应该在所有业务部门实施和支持治理,因为在数据价值方面每个部门都可以发挥作用。

第一步是聘请或任命一名首席数据官,负责整个组织的数据治理。他们的职责是让项目获得批准和优先考虑,管理预算,为项目采购人员并确保完整的文档。理想情况下,CDO 应直接向 CEO 汇报。

然后,通过组建一个具有以下多知识技能小组来扩大项目团队:

  • 数据所有者:他们监督特定区域或业务部门的数据。数据所有者有责任确保遵循流程以保证数据的收集、安全和质量。他们必须映射数据、控制对数据的访问、确保数据受到保护并定义存储库以对数据进行上下文化。换句话说,在大量数据的包围下,他们必须确定如何使用特定数据来应对特定问题。所以,营销总监可以是客户数据的数据所有者,人力资源总监可以是公司内部数据,尤其是员工数据的数据所有者,CFO可以是财务数据的数据所有者。
  • 数据管理员:他们是数据湖的数据协调员和管理员,集中存储库,能够存储和分析任何规模的所有结构化和非结构化数据。他们负责组织和管理所有数据或特定数据实体,以实现标准化和遵守政策和法规。它们捕获数据元素;他们可以通过确保湖中没有重复来纠正它们;他们可以为某些信息提供“参考数据”的状态;他们验证数据库的置信度和质量 数据管理员在报告标准方面也发挥着作用,并与数据工程师(设计数据管道)、数据科学家(设计和应用算法)和数据分析师(顾名思义,就是分析数据)更紧密的协作。
  • 数据保管人:这更像是一个 IT 角色,负责确保公司内数据的控制、保存、传输和存储。他们不负责数据质量问题,这些问题由数据管理员负责。作为数据库管理员,数据保管人通过授权和控制对数据的访问、定义技术流程以确保数据的完整性以及实施技术控制以保护、备份和归档数据和对其所做的更改。在某些公司中,数据架构师可能担任数据保管人的角色。

当然,除了这些主要角色之外,还有数据分析师、营销经理、产品所有者/经理、内容或社区经理、流量经理和用户体验设计师等次要职能,他们每天都在使用、消费和分析数据。不要忘记支持职能,数据保护官 (DPO) 负责个人数据治理的信息、建议和内部控制。他们确保严格应用数据保护法规(网络安全法、数据安全法、个人信息保护法等)。

组织可以构建一个 RACI 矩阵(负责、负责、咨询、知情)来对每个利益相关者的角色和任务进行建模和形式化。

5. 创建指导机构并消除公司内部的数据孤岛

组建数据治理项目团队后,可以将他们聚集到一个专门的数据治理办公室,该委员会负责就公司各个业务部门的实施做出战略决策。他们批准数据政策和标准,并处理出现的任何数据管理、安全和质量问题。

如果组织将所采取的信息和决策传递给使用数据的更多运营团队,请设置一次性或定期会议并提供书面或口头反馈。

理想情况下,应该通过将数据置于活动和业务问题的中心来选择横向治理模式。例如,基于这一原则,可以加速消除直销、广告和客户服务之间的隔阂,并在组织、品牌及其代理机构内整合 CRM 和媒体专业知识和技术。要实现这一点,首先要让组织的员工意识到每天合作和共享数据的好处。为了促进这一过程,还可以设置跨职能项目,将不习惯一起工作的团队聚集在一起,并为他们制定共同目标。

接下来,确保将所有对执行项目有用的数据整合到数据管理平台或数据中心,以保证数据的可靠性和互连性。必须让所有团队都意识到集中数据资产的存在,并就如何在组织的各个部分之间管理数据以协调实践达成共同愿景。

6. 记录项目并建立共享资源

要成功实施数据治理项目,必须建立标准流程并在组织内采用通用语言。

执行此操作的有效方法是为团队提供数据地图,这是组织在各种信息系统中收集和使用的所有数据的综合视图。它提供了识别数据资产、数据的流动、数据的存储和数据的处理方法。这个过程的目的是让所有员工都能在合理权限内访问和理解数据,这样每个人都可以识别数据的来源,知道它是如何计算的,并发现任何重复。数据映射由几个工具组成:

  • 业务词汇表:所有员工共有的独特知识库,它允许精确定义与流通数据相关的所有术语,目的是促进不同参与者之间的信息交流。
  • 数据模型:这个巨大的表格塑造了公司数据的结构,并提供了有关其存储的信息。
  • 数据流图:这为公司不同信息系统内的数据转换、标准化和处理方法提供了指导。

此外,数据映射还包括有关不同类型数据可用的格式以及它们的访问和使用条件的部分。

7. 确保组织的数据质量以改进决策

在数据驱动的组织中,数据指导组织的大部分决策,例如促销活动或传播活动的性质和时间安排、受众细分和定位的可靠性、网站或移动应用程序上功能的更正或添加等等. 要执行所有这些操作,必须对数据的质量充满信心。使用劣质数据可能会对组织的业务产生严重后果,例如:

  • 收入和商业机会的损失
  • 降低行动的投资回报率
  • 降低决策质量
  • 其他数据项目(CRM、数据湖、CDP 等)的影响
  • 对客户失去内部信心和信誉

图片

数据在其旅程中也可能因各种风险因素而改变:

  • 由于标签缺失或不正确导致的未测量流量
  • 由于部分测量方法(采样)导致的未测量流量
  • 机器人导致的高估流量
  • 被广告拦截器拦截的流量
  • 由于来源归因不佳而高估了转化次数
  • 尽管未经用户同意,但未排除流量

为了避免这些风险,重要的是要从数据收集的关键时刻开始,在数据生命周期的所有阶段保持警惕,因为这个阶段是永久性的。并且系统的每一次修改或更新或跟踪都不可避免地对历史数据的质量构成风险。采用有效的方法和工具来协调和记录这个过程。

首先,确保标签在组织的标签计划中正确实施。定期和全面地检查它们,最好使用自动化验收测试,因为手动操作会增加出错的风险。

我们相信这个数据控制过程应该非常快速,并且易于监控、验证和纠正。应该提供分析师和营销人员自行检查、测试和修改标签的功能,而无需技术团队的帮助。

8. 确保数据的合规性

随着 2018 年 GDPR 和 2020 年 CCPA 以及 2021 年数据安全法和个人信息保护法的实施,组织应越来越意识到在各种数字平台上尊重用户个人数据保护的重要性。

如果不遵守规定,可能会面临从简单的提醒到高额行政罚款的制裁,以及对数据资本的严格限制。不合规也会损害组织的形象并导致消费者信任度下降。因此,重要的是要在组织的信息系统和移动应用程序上采取措施,以确保以免费和知情的方式正确收集访问者的同意。为此,需要选择具有严格数据管理并充分遵守法律规定的供应商。

9. 在内部实现数据使用的民主化

公司内部数据的民主化在数据治理方法中至关重要。这是一个通过采用数据文化使尽可能多的人可以访问数据的过程。这意味着将执行任务和创造价值所需的所有信息和资源提供给员工,并且只提供给数据消费者。

图片

要为此数据传播工作建立支持性框架,我们可以从以下步骤开始:

  • 准确告知所有业务团队公司内部管理的所有数据、其含义和上下文
  • 指定此数据的用例,
  • 指示它的位置以及如何访问它,
  • 提供有关数据质量和可靠性的详细信息,
  • 指定能够每天为用户提供支持的数据引用者。

接下来,我们建议设置特定的支持计划。例如,可以组织培训课程和内部研讨会,以指导用户在操作上使用工具和使用特定问题的数据。此外,为了鼓励所有员工使用数据,数据团队可以设计专门用于管理每项活动的仪表板。

10. 持续评估数据治理系统的性能

最后,一旦奠定了数据治理战略的第一块基石,就必须衡量内部员工的满意度,评估所采取措施的绩效,根据组织的数据管理成熟度曲线逐步迭代和改进流程.

在数据治理的部署中没有什么是一成不变的——实际上恰恰相反。尽可能灵活,以确保所应用的方法符合组织所追求的目标。