线下测试-field test in offline stores

文档说明

此次线下测试主要针对的是由于设备反应慢而返厂的设备,在lab中无法辨析产生设备慢的具体原因,

因此采取线下测试的方式模拟用户实际购买及使用场景,复现可能的bug.

测试前期准备

checklist description
测试商店 尽可能的覆盖用户量较大的店铺
测试设备

用户返厂设备

可对比的设备

版本及硬件信息

保证测试版本(对比机与测试机)为指定版本

记录硬件信息

测试账号 使用指定的测试账号
测试书籍 多台测试设备使用相同的测试书籍或操作步骤,保证测试数据的可参考性
网络环境

在测试过程中,保证所有测试设备与对比设备使用相同的网络、相同步骤、同时操作,记录数据。保存测试环境的网络状态。

 

测试数据收集

1.log

针对kindle,有两种log可以进行获取:adb log 和dm log (区别在于是否实时).

adb logcat -v time >测试用例序号.txt    //在整理日志时,不同日志最好采用测试用例序号进行命名,以便后续查找方便。

dm log中包含main、kernel、bugreport、crash等日志信息,可以在全部测试场景结束后抓一个整体的日志,命名时最好标注操作起始时间。

2.video

测试过程中发现任何问题,需要进行录像,并且再做3次并记录数据。

3.KPI data

由于此次测试主要针对的是设备慢的问题。因此需要记录性能测试中设备的响应时间。

目前采取如下格式进行分析汇总数据:

 测试场景

此处列出具体的测试用例

测试报告

  • 包括excel 中的具体性能测试数据;
  • bug信息(复现步骤、video和log地址等);
  • 测试数据中标红的部分(比对比设备慢的较多的数据)
原文地址:https://www.cnblogs.com/Doris9301/p/7462259.html