分析软件测试的质量是每一个测试人员的基本要求,那我们如何去分析软件测试的质量,结合自身的经验,给大家分享一下如何通过问题单分析测试质量。
要通过问题单来分析测试质量, 那首先我们需要规定问题单的一些基本规范,
比如说提交问题单必须要有的一些字段: 版本号、模块、 测试用例编号、严重级别、问题单提交人、提交问题单的时间、测试环境、重现问题步骤、预期结果、实际结果、必要的截图附件。
版本号:通过这个字段我们可以分析出每一轮测试发现的问题单数,通常情况第一轮、第二轮、第三轮.....第N轮, 每轮发现的问题单数是越来越少的,如果测试过程中发现问题单数量没有收敛,那我们就需要详细分析为什么问题单没有收敛了? 有以下可能原因:1、开发每次修改完一个bug后, 会引出新bug, 这个就是开发问题 2、是前面没有测试出来的bug,这就是我们自身的问题了,需要改进我们的测试。
模块:问题单通常有2、8原则, 20%的地方发现80%的问题,如果一个模块持续不断发现很多问题,问题不收敛,那我们需要分析出是什么原因导致的, 如果一个新特性转测试后,没有发现问题,这个也需要去分析, 为什么会导致这样, 是不是测试不充分, 是不是测试策略存在问题,还是说这个开发很厉害,开发质量很高。
测试用例编号:如果发现的bug中,只有很少的一部分是通过测试用例发现,那我们需要反思我们的测试用例是不是存在问题, 为什么发现不了问题?测试用例是否需要修改。
严重级别:一个系统中,致命、严重、一般、提示bug的占比基本上不会有太大变化的,如果全部是致命bug, 那我们需要分析测试是否充分,测试越往后、发现的加权缺陷值应该是越来越少的, 什么叫加权缺陷值, 就是说一个致命bug10分、 严重bug3分、一般bug1分、提示bug0.1分, 如果不满足收敛的趋势,也需要分析导致的原因
问题单提交人:如果两个人都执行了200个用例,A发现了5个bug,B发现了1个bug, 那我们就需要去分析B执行的用例的模块的质量是不是有显示的那么好, 是不是没有认真测试,需不需要交叉测试一下。
提交问题单的时间:一轮测试时间是3天, 那么正常情况下第一天可以测试出的bug数是最多的,然后依次减少, 如果第三天发现了更多的bug, 那我们需要分析,是不是我们的测试策略存在问题。