近期因工作需要对国内数家主流的数据库运维管理平台做了个调研,同时对这一产品的发展演进趋势做了简单分析,供大家参考。
1、数据库运管平台演进与特点
近年来,数据库运维管理平台市场非常活跃,涌现出一批有代表性的厂商产品,其背后也是数据库管理需求变化所致。在深究下来,也是近些年数据库技术演进与管理方式的变化所致。如上图艾瑞整理的演进变化,从中我们可以观察到较之以往的差异。下面我们聊聊有哪些鲜明的特点变化。
多样性
随着数据规模爆炸式增长及数据使用的多样性,导致企业对数据库的要求呈现多样化特点。同时伴随着近年来国内数据库厂商及产品大量涌现,整体数据库市场呈现“百花齐放”的状态。企业不得不面临管理大量不同种类数据库的需求,进而导致企业对数据库统一管理的需求突增。
跨平台
随着IT技术演进,企业基础设施平台走过了早期物理机、虚拟机,到后来的容器化、云与云原生之路。考虑到企业间发展阶段差异,往往存在需对接不同平台、甚至单一企业内部也存在多种平台的情况。这也倒逼数据库管理平台方提供对多平台的支持能力。
多架构
随着数据库技术演进,也同样走过了从单机、集中式、到分布式、云原生的道路。且通常在一个企业内存在多种数据库、多种技术架构产品并存。这同样对数据库管理类平台提出了更高的要求。
独立性
通常数据库原厂都会提供自有产品的管理能力,但受到资源能限制,一般都会将主要力量投入到内核研发中。同时受到技术壁垒、行业分工以及其他市场因素的限制,数据库原厂无法提供自身产品以外的跨数据库统一管理和配套服务,留出的市场需求空白必然要由独立的数据库生态厂商进行补充。
全流程
从平台管理能力上看,也不再仅仅局限于数据库管理,而是覆盖从基础资源管理、数据库自身管理、数据开发、数据安全等多方面,企业用户也希望在单一平台解决所有数据库上下游相关工作。
开放性
很多企业,特别是中大型企业,都有自己一套IT管理方式,而不仅局限对产品使用。这主要是基于企业自身特点及统一化管理类诉求。此时就希望工具平台提供一定的开放性,可以与企业内已有平台很好融合使用。
智能化
近年来人工智能技术快速发展,给数据库管理提供一种新的思路。以此帮助企业降低数据库管理成本,提高数据库管理质量和效率,加强数据库的安全性和稳定性。上述能力也希望内置于数据库管理平台中,进而实现管理智能化。
2、数据库运管平台核心能力
如上面所谈,数据库运管平台需支持对多平台、多架构的数据库产品在全生命周期内的管理维护工作,其包含的平台能力非常繁多。前段时间对国内数据库运维管理平台做了个小调研,下文就是结合国内部分主流厂商产品能力,将平台应具备的产品能力加以说明。受限于个人能力及收集到的资料完整性,下述功能对比仅代表个人意见。厂商产品我以代号标志,请勿对号入座哈:)
集成迁移
集成迁移能力,是企业使用数据库的"高速公里"。这里包含异构数据库之间的、云下云上之间的数据库迁移同步能力;此外还包括如离线数据的导入导出及数据抽取架构等能力。从管理平台角度看,这一能力并非刚需,部分厂商通过外置工具实现。从市场来看,很多专业的数据库迁移同步厂商提供此类产品,用户接受度也更高。
环境部署
环境部署,是指自动安装数据库环境,其价值在于减少人力成本和错误率。这一能力重点考察的是支持多种环境、支持安装多种类数据库、支持安装多种架构的数据库集群。从厂商功能调研结果来看,基本功能都是具备的,主要差异就在于支持范围的大小。
弹性伸缩
弹性伸缩功能分为两种,一种是Scale UP、一种是Scale Out。前者是垂直扩缩容资源即可,通过云、容器化能力相对容易实现,部分厂商产品也做的不错。后者则是依赖于数据库自身能力,有些数据库原生就是分布式架构,提供对计算、存储的扩展;有些数据库是单机架构,则需要在前端提供分库分片的能力才能实现扩容。
实例管理
实例管理,是解放DBA双手的能力,可将数据库管理动作标准化、在线化、甚至自动化。这部分重点强调管理能力的范围,尽量将手工操作都白屏化。从厂商提供能力来看,基本都可以满足常规的运维管理诉求。
性能服务
数据库运行状态是否OK?当前是否存在性能瓶颈?也是 DBA 日常管理重点关注的,这其中包括如热点、负载、内存、缓存、I/O分析等。上述能力,可以让DBA快速找到系统可能存在的瓶颈,并及时采取有效的干预手段。这些内容也是为后面的系统优化做一铺垫。
系统优化
如何让系统运行在最佳状态下,之前很多是通过人工经验完成,现在人工智能算法提供一种新思路。从使用来看,无论是前者,将人工经验内置在系统中;还是后者,将算法模型来优化系统,只要能达到好的运行效果即可。这其中目前支持比较多的如实例参数、索引优化等,其他方面还有很大的提供空间。
监控巡检
监控巡检,就是提供数据库运维日常的监控、告警和巡检能力,是属于一种“主动”的管理行为。其难点不在于收集到更多指标等,而是在于从繁多的监控指标或巡检数据中,找到系统运行风险的蛛丝马迹。这里可结合一些人工智能的能力,尽量做到不漏不丢的前提下,减轻被监控端的压力。
故障处理
故障处理,是指对故障进行智能分析、诊断和自动化处理。这对于快速解决系统问题,减少 RTO 很有意义。随着数据库系统越来越复杂,通过人工在纷繁复杂的故障问题中快速定位、快速解决愈发变的困难。这一能力对 DBA 尤为重要。这其中难点在于通过人工经验抽象积累和故障案例的学习,提升系统处理故障的能力。
备份恢复
数据安全是DBA的生命线,通过平台协助企业进行全量、增量备份与恢复管理是非常有价值的。这一功能难点在于,一是大量数据库实例备份恢复的管理,二是备份恢复中减少对线上环境的影响,三是可对备份集做检测减少丢失风险,四是提供比较友好的交互方式。
高可用
数据库可用性,是保障业务连续性的前提,也是企业最为关注的能力。管理平台一方面可提供不同高可用架构的搭建,另一方面当出现故障时可快速实现高可用切换,减少RTO。这其中的难点在于,不同数据库高可用能力差异巨大,有些只能通过外部工具方式辅助完成;且如何实现对前端业务的无感知也是重点。此外,针对同城、异地等多种条件下的可用性要求,对平台提出了更高的要求。从调研来看,这方面还有较长的一段距离。
容量管理
容量管理,是指对数据库的计算及存储资源做的管理动作,可尽早发现可能的容量问题,提前做好资源规划。其中包括如计算容量、库容量、表空间、数据对象等的管理。如企业业务发展很快,对容量管理这部分就很重要;再比如有类似双11的大促活动等,也需要此能力。但相对而言,这部分能力现有工具平台相对功能较弱。
安全管控
安全管控,是指提供数据库之上包括运维管理、数据开发、数据流转等全方位的管控能力。这其中涉及的方面很多,有些依赖于数据库自身安全能力,有些则需平台方提供。从调研来看,这方面能力参差不齐,差异较大;而且一般来说也有很多数据库安全产品提供此类能力,用户可基于其他平台构建。
运营支持
运营支持,是指将平台管理的各类数据提供类似可视化大屏能力,可方便用户快速了解整体使用情况。
多数据库
如前面所说,当前企业用户使用的数据库众多,需要运维管理平台提供多种数据库支持能力。特别是随着近些年国产信创需求,很多用户开始在生产环境使用国产数据库。作为一种新引入的数据库产品,是急需管理平台来解决日常管理问题,降低使用门槛。但这方面往往困难较多,一方面确实待支持的产品很多、架构差异很大,二方面国产数据库的完整度还有待提升,特别是对于外部生态工具的支持还有不小的差距。
多平台
如前面所说,当前企业使用多种平台管理数据库,同样需要运维管理平台支持上述能力。特别是随着容器化、云化日益被客户所接受,对上述平台的管理支持能力尤为重要。这其中面临的问题主要是管理方式的统一抽象,提供标准化的管理能力。
租户隔离
随着数据库能力的提升,很多用户处于成本经济性、管理便捷性等角度出发,考虑使用租户能力。但不同数据库提供的租户能力差异很大,管理平台相对比较受限于底层能力。这方面相对能做的不多。
数据开发
为提升数据开发的效率,很多平台提供对数据开发的增强的支持,其中包括如数据库审核、SQL质量管理等。受众群体包括DBA、DEV、TEST等多类人群。这部分作为相对边缘的功能,各厂商差异很大,有些通过独立产品提供相对完整的产品功能。
开放能力
除了平台自身提供的能力外,如何与企业内其他平台协同也很重要,这就涉及到平台是否提供开放能力,例如 API 的方式。特别是对一些传统企业、中大型企业和互联网公司,尤为重要。
3、数据库运管平台发展趋势
为满足前文所谈的多样性、跨平台、异构化等趋势,数据库运维管理平台发展趋势包括以下几个方面:
- 云化趋势:随着云计算技术的迅速发展,云化趋势将成为数据库运维管理平台的主流发展趋势。数据库运维管理平台将逐渐向基于云的SaaS平台发展,实现跨地域、跨云平台的资源监控和管理。
- 智能化趋势:数据库运维管理平台将更加注重应用人工智能、机器学习等技术,实现数据库管理自动化和智能化。例如,数据库自我诊断、自我优化、自我备份和恢复等功能将逐渐成为发展的方向。
- 多模式趋势:随着数据储存模式的多样化,数据库运维管理平台将逐渐实现多模式的数据存储,管理和控制,并实现多模型数据的查询和分析。
- 安全智防趋势:随着数据库安全事件频繁发生,数据库运维管理平台将更加注重数据库安全的智能防护。例如对不合法的SQL操作,恶意登录,数据泄漏等安全事件进行实时监控,及时发现并处理异常情况。
- 自动化趋势:数据库运维管理平台将更加注重自动化运维的发展,推进各项操作的自动化实现,减少人工操作的参与,提高运维效率和管理质量。
综上所述,数据库运维管理平台将逐渐实现云化、智能化、多模式化、安全化和自动化的发展趋势。作为一个专门用于进行数据库管理和运维的平台,将实现更高效的数据库管理,更保障企业数据的可靠性和安全性。
作者介绍
韩锋,51CTO社区编辑,CCIA(中国计算机协会)常务理事,前Oracle ACE,腾讯TVP,阿里云MVP,dbaplus等多家社群创始人或专家团成员。有着丰富的一线数据库架构、软件研发、产品设计、团队管理经验。曾担任多家公司首席DBA、数据库架构师等职。在云、电商、金融、互联网等行业均有涉猎,精通多种关系型数据库,对NoSQL及大数据相关技术也有涉足,实践经验丰富。曾著有数据库相关著作《SQL优化最佳实践》、《数据库高效优化》。