1 需要完成什么
自动化构建更新系统、测试、收集分析数据、发送报告。
需要进行三类测试:并发测试、压力测试、负载测试。
需要得到指标:请求成功比例、tps、交易成功率、响应时间的均值和异常值比例、服务器的CPU和内存使用率。
处理“自动化”之外,还需要“简单性”——可以不需要投入太多的人力进行开发,使用现成满足需求的工具;“即时性”——新版本上线前后就能得到反馈。
2 方案
2.1 测试过程
使用jenkins进行系统部署、触发测试、触发分析、发送报告。
第一步,设置jenkins定时,取每周的主干进行部署。
第二步,jenkins触发测试工具执行测试。
第三步,jenkins触发分析脚本,形成报告发送邮件。
2.2 工具
1)构建和触发直接使用jenkins,设置定时,创建Job及Job之间的流程关系即可。
2)测试工具,在《自动化测试设计分享》一文中,提到过的测试工具tell,使用go的chan特性,很容易改写为提供并发测试的工具。java中的testNG也是如此,当然你也可以使用你熟悉的工具。
3)分析脚本,一个是对tell的日志进行分析,一个是对数据库的交易记录进行分析,得到请求成功比例、tps、交易成功率、响应时间的均值和异常值比例。
4)最后jenkins自动把分析的结果邮件给你即可。而服务器的CPU和内存使用率直接使用阿里云的监控,需要到阿里云后台查看。这里的不便,可以在阿里云上设置报警阈值和通知。当收到服务器报警时进行查看即可。
1-4的测试过程可以用下图表示:
测试过程
5)对于我们需要完成并发测试、压力测试、负载测试这三类测试,需要设置三个不同的流程,执行不同的测试用例。jenkins流程如下图所示:
三类测试的流程
2.4 定时执行目前周四发布新版本,并发测试会在周四上线前,合并代码后进行,测试通过后进行上线。周五进行压力测试,周六至周一每天进行8小时的负载测试。
2.5 补充
交易模型:针对线上每周的交易数据变化,需要更新压力和负载的交易模型。
数据库量级:根据业务的运营阶段,不知道商户什么时候会突然放量,所以数据库保持在比线上数据库多50%的量。
服务器配置:尽量和生产一致。在目前的实践中,测试服务器的配置和生产的配置完全一致,在应对需要紧急增加服务器时,会直接使用测试服务器。
谢谢