您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件测试技术 > 性能测试 > 正文

构建自动化性能测试系统的实践

发表于:2018-07-20 作者:增艺 来源:简书
系统的性能和性能测试,是一个大家都知道其重要性却往往容易忽略的事。为什么说容易忽略呢?很多系统,做性能测试的时间要么只在最初上线时,要么在重要的系统重构时。而日常的迭代更新、交易量的变化,不知谁才是压倒系统的最后一根稻草。所以只要系统不下线,性能测试也只有进行时。基于这样一个出发点,我们构建了一个自动化性能测试系统,以便关注系统性能的变化。下面介绍一下在工作中的实践。
1 需要完成什么
自动化构建更新系统、测试、收集分析数据、发送报告。
需要进行三类测试:并发测试、压力测试、负载测试。
需要得到指标:请求成功比例、tps、交易成功率、响应时间的均值和异常值比例、服务器的CPU和内存使用率。
处理“自动化”之外,还需要“简单性”——可以不需要投入太多的人力进行开发,使用现成满足需求的工具;“即时性”——新版本上线前后就能得到反馈。
2 方案
2.1 测试过程
使用jenkins进行系统部署、触发测试、触发分析、发送报告。
第一步,设置jenkins定时,取每周的主干进行部署。
第二步,jenkins触发测试工具执行测试。
第三步,jenkins触发分析脚本,形成报告发送邮件。
2.2 工具
1)构建和触发直接使用jenkins,设置定时,创建Job及Job之间的流程关系即可。
2)测试工具,在《自动化测试设计分享》一文中,提到过的测试工具tell,使用go的chan特性,很容易改写为提供并发测试的工具。java中的testNG也是如此,当然你也可以使用你熟悉的工具。
3)分析脚本,一个是对tell的日志进行分析,一个是对数据库的交易记录进行分析,得到请求成功比例、tps、交易成功率、响应时间的均值和异常值比例。
4)最后jenkins自动把分析的结果邮件给你即可。而服务器的CPU和内存使用率直接使用阿里云的监控,需要到阿里云后台查看。这里的不便,可以在阿里云上设置报警阈值和通知。当收到服务器报警时进行查看即可。
1-4的测试过程可以用下图表示:
测试过程
 
5)对于我们需要完成并发测试、压力测试、负载测试这三类测试,需要设置三个不同的流程,执行不同的测试用例。jenkins流程如下图所示:
三类测试的流程
2.4 定时执行
目前周四发布新版本,并发测试会在周四上线前,合并代码后进行,测试通过后进行上线。周五进行压力测试,周六至周一每天进行8小时的负载测试。
2.5 补充
交易模型:针对线上每周的交易数据变化,需要更新压力和负载的交易模型。
数据库量级:根据业务的运营阶段,不知道商户什么时候会突然放量,所以数据库保持在比线上数据库多50%的量。
服务器配置:尽量和生产一致。在目前的实践中,测试服务器的配置和生产的配置完全一致,在应对需要紧急增加服务器时,会直接使用测试服务器。
谢谢
 

有不足之处,欢迎指正,共同学习。