一、用例分级有哪些好处
首先我们思考如下几个问题,先不要往后看,看看自己的答案是怎样的?
1、在回归测试中有数千个测试用例,没有足够的时间和人力来执行所有用例,该怎么做?
2、修复Block和Critical的缺陷成本非常高,怎么优先提供最大测试覆盖提前发现模块主要功能Bug?
3、某模块功能改动很小,如何根据测试策略筛选用例执行?
二、当前现状&解决方案
用例分级前
1、用例等级定义形同虚设,不统一,没有参考价值
2、各阶段全Case测试时,各模块的用例测试按从前到后测试,没有优先级之分
3、针对专项申请,不管修改点小还是修改点大,涉及的模块基本功能都是全部安排测试
4、针对后期PVT阶段、模块已稳定,回归测试时要么不测,要么全部测试
5、功能用例自动化转换能自动化部分实现全部转换,效率低
用例分级后
1、等级定义统一,按功能重要程度划分等级
2、各阶段全Case测试时,各模块的用例测试先测试P1、P2的用例,然后测试P3、P4、P5部分用例
3、针对专项申请,对小改点小风险小的模块只测试P1或P1、P2,对修改风险大的测试全部用例
4、针对后期PVT阶段、模块已稳定,回归测试时只测试P1、P2部分用例
5、功能用例自动化转换能自动化部分实现优先转换P1、P2重要功能部分,效率高
三、收益&挑战并存
1、方便地基于测试策略来筛选用例,减少回归、专项测试时间和人力
2、提前测试高优先级用例发现模块主要功能Bug,减少后期重要Bug修复风险和人力成本
3、提供功能用例转自动化的依据
四、用例分级
1、如何准确识别出前10%到20%的测试用例
2、如何决定专项、回归测试跑哪几个优先级的用例
3、如何定期清理和更改优先级,确保执行用例的有效性3、如何定期清理和更改优先级,确保执行用例的有效性
五、用例各等级占比
六、优先级划分策略
1、初步划分:
1)根据用例的等级描述将用例的优先级分别标注为P2、P3、P4、P5
2)将P2、P3、P4进行细分,划分出重要和不重要
2、划分优先级
1)将P2不重要的用例降级为P3,P3、P4、P5中重要的用例进行升级
2)从P2高优先级的用例中挑选出P1优先级
3、重复,达到优先级占比
三、定期优化
1、根据前几个版本的用例的测试结果优化测试用例的等级
2、模块有新功能或需求变更等,应及时识别增加并分配高等级、同时精简删除
七、执行策略建议
建议
1、优先执行等级高的用例
2、根据测试时间、人力,筛选不同等级的用例执行
3、根据项目不同的阶段,筛选不同等级的用例执行
4、根据风险评估,筛选不同等级的用例执行
5、根据质量目标,筛选不同等级的用例执行
实例
1、冒烟测试:筛选优先级最高的用例执行,如P1
2、常规测试:优先执行等级高的用例,如P1、P2,然后执行P3、P4、P5
3、专项回归测试、改动较小:执行P1、P2
4、PVT、量产阶段、维护阶段:执行P1、P2等级的用例