针对APP崩溃率治理-测试环节解决方案-京东云开发者社区

### 1 前言
因APP线上版本存在崩溃问题，近一周崩溃率为0.38%，影响用户体验。为协助研发定位问题并针对APP功能扫查薄弱点，本文将从测试的角度探讨如何进行APP的“单元测试”。
### 2 目的
1. 解决APP崩溃问题，提升用户体验
1. 提炼通用测试方案，进行日常化落地推进

### 3 测试策略
#### 3.1 分析
根据阿凡达平台统计，引起京管家APP线上崩溃的主要原因为：空指针、数组越界，引起崩溃的前提是存在异常数据。为了复现问题，精准定位异常原因，需要针对阿凡达平台统计的原因编写用例。为了提前暴露APP薄弱点，需要编写通用用例。

#### 3.2 制定测试方案
- 分析线上闪退问题，确定异常用例范围（用例编写时先覆盖常用功能的接口，等研发修改线上问题时再补充遗漏场景）
- 编写异常用例脚本
- - 抓取app请求接口，编写脚本处理接口返回值（所有字段赋值null）
- - 采用mock方式返回异常接口数据（编写脚本切换物流网络上是否mock的开关）
- - 通过下拉刷新/点击空白处等方式获取正确数据，进行下一步操作
- 执行异常用例
- - 线上版本5.4.0、5.5.0、5.6.0上执行异常用例，得到基础值
- - 研发修复后版本（5.7.0）上执行异常用例，得到崩溃数据看是否达标，出测试报告（稳定性框架）
- - 570不达标时和研发分析原因，补充异常用例，再次执行步骤 i、ii

通用测试方案如下：

![](//img1.jcloudcs.com/developer.jdcloud.com/b1a49e8b-aaf4-4ee7-80d7-2a8fdb7f507b20210929135456.png)

#### 3.3 拆解测试计划
整体计划：8/14-8/17完成APP崩溃治理测试方案事项及研发修复后的自动化测试工作
- 8.14-8.16号完成脚本编写并在5.4.0-5.6.0三个版本上执行用例（研发8.16号提测）
- 8.17号根据研发修改范围完善异常用例
- 8.17号在5.4.0-5.7.0版本上执行用例

#### 3.4 执行（测试数据）
优化前版本：5.6.0版本测试数据（存在异常数据时，有3个必现闪退问题）：

![](//img1.jcloudcs.com/developer.jdcloud.com/1a1ccaf3-811c-4b03-bfff-7b403bb748a220210929135554.png)

优化后版本：5.7.0版本测试数据（注：失败的用例原因为测试APP时使用的模拟器，真机无此问题）

![](//img1.jcloudcs.com/developer.jdcloud.com/58e84072-0dd6-4f34-9e63-03e3267eda9820210929135607.png)

#### 3.5 日常落地
优化测试脚本，丰富测试用例，从针对性功能测试扩展为通用型测试，优化后流程图为：

![](//img1.jcloudcs.com/developer.jdcloud.com/82bbf3b3-ff01-4a98-9e1c-1aed8bdacd2120210929135936.png)

#### 3.6 实现代码
前端入口，选择执行“异常用例”：

![](//img1.jcloudcs.com/developer.jdcloud.com/8d5f2474-fb65-4c24-af06-bd0ae6f3993820210929140002.png)

获取子午线平台埋点事件并设置case执行比例：

![](//img1.jcloudcs.com/developer.jdcloud.com/e75efdd3-03b3-4712-b1bd-142910fe033720210929140016.png)

mitmproxy获取接口数据并修改返回值：

![](//img1.jcloudcs.com/developer.jdcloud.com/0850cdb5-2bdc-47f2-a1a9-a0afe415fe0f20210929140028.png)

### 4 执行过程中遇到的问题及解决方案

1. 接口返回的数据过大时，更新接口的mock数据报错，原因是字符长度超过了数据库最大限制 --联系网关维护的同事帮忙修改数据库最大长度
1. 研发给出的修改范围不是必现的路径？ --扩展测试用例，进行关联性测试
1. 发生crash时如何断言？ --获取“重新打开app”元素
1. 发生crash后app会一直闪退 --①杀掉APP进程 ②清除APP缓存
1. 修改mock数据对物流网关依赖较重，且流程繁琐容易导致超时 --优化为用mitmproxy模块进行接口数据mock

### 5 带来的收益
#### 5.1 崩溃率维度
**5.7.0版本上线后，崩溃率由0.38%降低到0.05%**

5.6.0线上崩溃趋势图：

![](//img1.jcloudcs.com/developer.jdcloud.com/06aa4e6a-2730-4acf-a5c2-11ae24152c7720210929140134.png)

5.7.0线上崩溃趋势图：

![](//img1.jcloudcs.com/developer.jdcloud.com/039be2c1-d58c-4a0d-995e-2dab9a2dbc8720210929140151.png)

#### 5.2 测试环境维度
功能测试过程中加入异常用例测试，提早暴露问题，降低时间成本。

### 6 后续思考
当前脚本设置所有接口字段为null，发生异常后研发仍需根据trace日志定位问题，测试过程如何给出引起问题的具体字段？
字段为null时当前页面不会闪退，但是后续操作未判空的场景如何覆盖？

------------
###### 自猿其说Tech-JDL京东物流技术发展部
###### 作者：运力平台技术部 范文君 宋雪薇