Beta阶段测试报告
测试计划
在开发过程中,测试人员主要负责对总体软件效果进行测试,查看是否跟游戏策划(需求)中预想的效果是否一致,并对规范和bug提出issue,assign给写这部分代码的开发人员,测试人员有追踪bug修复情况的义务。在测试和发布阶段,测试人员进行集中测试。分为浏览器测试、模拟器测试、真机测试3部分,并利用网络上的工具进行兼容性测试。测试出的bug也要提issue,发布后可以在所发布的应用市场中对该应用进行评价。对于此时出现的bug,团队中各个角色,包括PM、开发人员和测试人员组成会诊小组,集中处理每一个可能会影响产品发布的问题。对于每一个Bug,会诊小组需决定采取何种措施。包括:修复,设计本来如此,不修复,推迟。对于需要修复的bug,测试人员需继续追踪bug修复情况,在再次发布前进行充分测试。
关于单元测试我们的开发环境严重依赖于官方提供的开发环境,而官方提供的环境中不支持单元测试,只能通过白箱/黑箱测试进行总体测试。
兼容性测试
我们利用腾讯质量开放平台中的一些免费服务进行兼容性的测试,兼容性测试结果如下:
性能测试报告:
兼容性测试分析
由上面的兼容性测试可以看到我们检测到了一些问题,也有安装失败、黑屏等严重问题。经过我们的分析发现,这些应该是cocos Creator框架的问题,我们的ui逻辑、计算逻辑等在安装、ui显示上是与机型无关的纯逻辑,所以我们并没有办法修复这些问题。此外这些兼容性测试结果也表明我们的软件可以运行在大多数机型上,也达到了我们的预期目标。
测试中发现的Bug列表以及解决情况
序号 | issue | bug简述 | 解决情况 |
---|---|---|---|
1 | #164 | 聊天系统项目组不解散bug | 已修复 |
2 | #163 | 聊天系统中对话框不会消失的问题 | 已修复 |
3 | #162 | 聊天系统中对话瞬间回复问题 | 已修复 |
4 | #172 | 聊天系统中员工只会说同一句话 | 推迟 |
5 | #174 | 独立开发UI:无法正确开始项目 | 已修复 |
6 | #173 | 独立开发UI:无法更改项目名称 | 已修复 |
7 | #171 | 委托项目UI:按钮无法切换状态 | 已修复 |
8 | #170 | 从ui界面退回主界面后,主界面消失 | 已修复 |
9 | #169 | 多个任务开始选人时,出现人物undefined的现象 | 已修复 |
10 | #168 | 雇佣选人上限bug | 已修复 |
11 | #167 | 独立开发UI:图标和文本位置不正确 | 已修复 |
12 | #166 | 独立开发UI:按钮无法动态加载 | 已修复 |
13 | #165 | 独立开发UI:平台图标无法正确加载 | 已修复 |
14 | #176 | 聊天系统中对话回复时所有人都进行回复的bug | 设计如此 |
15 | #175 | 雇佣面板打开以后再关闭,不能再打开 | 已修复 |
16 | #178 | 打包成apk安装后委托开发选人无法选中 | 已修复 |
你是怎么进行场景测试(scenario testing)的?包括你预期不同的用户会怎样使用你的软件?他们有什么需求和目标?你的软件提供的功能怎么组合起来满足他们的需要?
典型用户
姓名 | 小武 |
---|---|
性别 | 男 |
年龄 | 20 |
职业 | 大学生 |
收入 | 无 |
知识层次和能力 | 高校大学生,擅长使用各种电子设备 |
用户偏好 | 二次元 宅文化 电子游戏 |
动机 | 体验软件开发流程 |
用户偏好 | 玩各种模仿游戏,如模仿人生 |
典型场景 | 茶前饭后、上课摸鱼玩挂机游戏消磨时间,同时获得愉悦 |
典型描述 | 生活比较宅,朋友有限,沉迷与虚拟电子世界 |
场景测试
- 典型用户: 小武
- 用户的需求/迫切需要解决的问题
- 休闲娱乐
- 挂机游戏
- 需要一定的脑力活动
场景描述
小武同学这段时间比较闲,想找一个游戏消磨消磨时间。这时他看到酷安应用市场中的游戏码帅
更新了2.0版本,新推出了多种玩法并改良了游戏界面。下载游戏安装后打开游戏界面,看了看游戏说明后开始游戏。感受了委托开发后招募了新的员工并尝试尝试新的独立开发玩法,不巧中间由于资金支出预计有误导致资金不够支付员工工资,还好有破产保护机制让他的公司免于倒闭。以后小心谨慎运营公司,并探索公司黑科技,感受到了运营软件公司的乐趣。
场景测试小结
我们的游戏可以满足典型用户在典型场景下的基本游戏需求,通过各种游戏玩法的组合来达到用户的娱乐需求。
给出你的测试矩阵(test matrix),也即在什么样的平台、硬件配置、系统平台上对你的软件进行测试?
测试机型 | 系统 | 硬件配置 | 可否安装 | 开始游戏 | 游戏说明 | 员工雇佣 | 员工解雇 | 委托开发任务 | 独立开发系统 | 银行系统 | 破产保护 | 成就系统 | 聊天系统 | 科技系统 | 主界面 | 时间系统 | 金钱系统 | 背景音乐 | 其他 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
安卓7.0,EMUI 5.0 | 华为荣耀V8 | 有网络 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 |
安卓7.0,EMUI 5.0 | 华为荣耀V8 | 无网络 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 | 可 |
你的软件Beta版本的出口条件(exit criteria)是什么?也即在什么条件下,认定你的软件已经足够好,可以发布Beta版本?
我们游戏软件Beta版本的出口条件为:基本无严重bug
,能够正常运行游戏过程
,基本功能完善
。
现在的版本除了Alpha阶段已有的功能以外,还增加了新玩法和全新游戏界面,基本流程能够正常运行。