一、背景
什么是精准测试?通常研发提测的需求有代码变更,针对研发的代码变更点以及关联点进行测试,我们称之为精准测试。
很多时候,对变更点、影响范围的评估并不是很准确,偶尔会出现影响范围评估不全或者影响范围评估过大的情况。对于影响范围不全,我们所执行的测试用例,就会出现覆盖不全的情况,导致部分功能漏测,进而产生线上问题。对于影响范围过大,我们所执行的用例会过多,占用大量时间来测试完全和本次提测无关的功能,浪费人力物力。因此在这里提出测试精准化。
对于精准化的测试,我们目前做了两部分探索,静态链路分析和增量代码覆盖率分析。
二、静态链路分析
1. 当前解决问题:
部分代码耦合度高,多业务之间存在方法依赖:由于代码框架问题,部分代码可扩展性不强,代码间耦合度高,随着接入的业务线增多,代码间的依赖关系越来越多。一个微小的改动,可能就会影响到其他不相干的业务线,而这种影响由于代码并不会报错,开发人员也无法及时评估到。
本次改动对其他业务线是否有影响,无法准确评估:测试人员一般是根据本次需求改动进行用例编写,无法评估代码的改动是否会影响到其他业务线。所以在用例评审阶段,产品、开发、测试人员均无法准确评估影响范围,这样就可能会导致本次需求上线完成后,等到其他业务发生调用错误,才发现业务被影响到了。
通过改动方法,生成对应上下游方法调用链,查看影响的上下游方法,帮助开发人员分析是否有未考虑到代码影响范围;帮助测试人员检查是否需要补充测试用例
2. 架构设计:
整体项目包括前端UI界面、codeDiff、maven命令打包、静态链路生成、代码注释扫描、执行结果同步等几部分。提供界面化操作,使用者只需要提供应用名称以及提测分支,即可一键生成链路分析报告,包含改动方法数、改动方法关联上下游方法对应链路数,通过分析链路即可快速准确发现本次改动影响范围
架构设计图如下:
3. 使用效果:
截止到目前,风控业务线接入应用5个,评审需求7个,覆盖供应链金融,天盾,鉴权等业务线,后续会有更多业务接入。
三、增量代码覆盖率分析
提到覆盖率统计,我们最先想到的单元测试中的代码覆盖率,这也是通常我们最先接触的,但我们这里要做的是服务端的代码覆盖率,也是能够度量测试用例执行效果的一种统计。
做覆盖率度量的工具有很多,我们这里采用的是开源工具jacoco,也是最常用的工具之一。
首先来看一下,我要做全量代码覆盖率统计,需要哪些步骤:
全量代码覆盖率统计
1. 启动服务
无论是tomcat启动,还是springboot启动,我们都需要修改启动脚本,将JACOCO_AGENT加入到 JAVA_OPTS里,这样我们在启动应用服务的时候,自动加载jacoco agent,并同时开始对我们所测试的服务进行监听,采集被测试类和方法的数据。
JACOCO_AGENT="-javaagent:/export/content/jacocoagent.jar=destfile=/export/content/jacoco/jacoco.exec,append=true,includes=com.*,output=tcpserver,address=0.0.0.0,port=8181"
2. 执行测试用例
3. 生成exec文件
这里的exec文件,就是我们这次执行测试用例所覆盖类、方法的原始数据,通过dump指令来和服务端进行通信来进行采集。
java -jar org.jacoco.cli.jar dump --address 127.0.0.1 --port 8181 --destfile ./jacoco.exec
4. 生成report文件
这里的report文件,就是我们全量的代码覆盖率的jacoco原始报告,通过report指令来生成。
java -jar org.jacoco.cli.jar report jacoco.exec --classfiles D:/workspace/git_code/code-domain/target/classes --sourcefiles D:/workspace/git_code/code-domain/src/main/java --html report --xml jacoco.xml --encoding utf8
需要指定class文件和source文件,对于项目中有多个模块的情况,可以指定多个 classfiles和sourcefiles路径。
这样我们就生成了jacoco原始的代码覆盖率报告,如下:
增量代码覆盖率统计
那么对于增量代码覆盖率统计,我们还需要做哪些事情呢
启动服务、执行测试用例、生成exec文件,这些都不要做任何改变,但是在生成report报告之前,我们需要添加一些步骤:
a. 获取增量代码
通过org.eclipse.jgit.api.Git和org.eclipse.jgit 来对我们所测试分支和master分支进行比对,生成list,看看有哪些类、哪些方法有变更
b. 改造org.jacoco.cli.jar包
在report命令后扩展 --diffCode
@Option(name = "--diffCode", usage = "input String for diff", metaVar = "<file>")
String diffCode;
c. 执行report,生成报告
java -jar org.jacoco.cli.jar report jacoco.exec --classfiles D:/workspace/git_code/code-domain/target/classes --sourcefiles D:/workspace/git_code/code-domain/src/main/java --html report --xml jacoco.xml --diffCode '[]' --encoding utf8
这样,我们就生成了只对增量代码进行染色的覆盖率报告。通过报告,我们就可以看出本次提测所修改的代码,是否被我们的测试用例覆盖到,以后我们可以有针对性的补充哪些用例,可以覆盖没有被覆盖的代码。
四、未来规划
目前只做到了静态链路分析以及增量代码覆盖率的统计,后面通过用例的执行生成出动态链路,可以更精准的匹配出用例和链路之间的关系,对于后面我们要做的用例推荐,有着更好的指导意义。
相信精准测试的落地推广,可以更有效的保证我们的测试质量和提高我们的测试效率。