即时通讯 APP 后端性能测试思路
原创发布：https://www.cnblogs.com/huanghaopeng/
作者信息：HHP
一、概述
常见的即时聊天APP通常包含 即时通讯（IM） 和 实时通讯（RTC） 两种场景的功能实现
- 即时通讯 指文字聊天、语音消息发送、文件传输、附件发送，数据路径：C->S->C 或 S->C 或 C->S
- 实时通讯 指语音、视频电话会议
- 即时通讯 对消息送达率相对更敏感，宁可延迟，不可丢包（文本消息是可以稍微延迟送达的，但是不能丢失）
- 实时通讯 则对消息延迟相对更敏感，宁可丢包，不可延迟（语音画面是允许掉帧的，但是画面和语音总是延迟就没法正常对话了）
二、性能需求
| 关键角色 | 性能体验 |
|---|---|
| 用户视角1（即时通讯） | 连接延迟和稳定性、消息送达率、消息发送延迟 |
| 用户视角2（实时通讯） | 会话连接的延迟、会话建立的延迟、语音画面的延迟、语音画面丢帧 |
| 用户视角3（其它功能） | 注册登录、拉取通讯录、个性化内容加载、扫码识别 等 |
| 运维视角 | 针对于同时支持会话数的横向扩容、即时通讯过程产生的内容存储、确保即时通讯可靠性的多线机房 |
| 开发视角 | 核心业务接口的QPS、核心业务的TPS |
| 运营视角 | 线下推广 与 线上推广 所涉及主要功能场景：注册、登录、添加好友 等 |
三、测试实现
1）通讯协议
- 为了满足 即时通讯 对送达率和连接稳定性的这个更高优先级的需求，通常采用 TCP 协议，如 MQTT、XMPP
- 实时通讯 中，偶尔的画面卡顿、丢包是可接受的，但延迟要求较高，因此通常采用 UDP 协议，如 WebRTC
2）测试工具
| 工具 | 支持协议 | 说明 |
|---|---|---|
| Locust | 自带 HTTP Client，其它协议需自行实现 Client | 采用（单进程）协程+IO复用实现并发负载 |
| Jmeter | / | 采用多线程实现并发负载 |
四、测试策略
说明：本质上是围绕 建立连接的延迟、连接稳定性、数据报文延迟、数据报文送达率 的测试。
1）核心角色与业务
即时通讯
| 角色 | 业务类型 | 前置条件 | 备注 |
|---|---|---|---|
| 用户 | 私聊：一对一文本消息收发 | 双方在线（C->S->C） | |
| 用户 | 私聊：一对一文本消息收发 | 单方在线（先 C->S 后 S->C） | |
| 用户 | 群聊：一对多文本消息收发 | 部分在线 & 全员在线 | |
| 用户 | 私聊：一对一附件消息收发 | 单、双方在线（均为：先C->S 后 S->C） | |
| 用户 | 群聊：一对多附件消息收发 | 部分在线 & 全员在线 | |
| 用户 | 离线消息收取 | / |
实时通讯
- 语音通话 & 语音+视频通话：参考“即时通讯”
其它功能
- 用户 的 线上交互场景：注册、登录、添加好友 等
- 用户 的 线下交互场景：钱包、卡包、积分、凭证展示 等
- ……（其它参考产品设计）
2）测试用例编写参考
用户角色
- 用户登录：身份验证、通讯录列表加载（联系人信息、状态、数量）、个性化内容加载
- 消息收、发（私聊）：短文本、长文本、图片、文件、链接等其它分享
- 消息收、发（群聊）
- 离线消息收取
- 附件收、发
- 用户注册、登录
- 添加好友 / 加入群聊
风控、客服 等管理运营角色
- 略（参考产品设计）
3）测试场景设计关注点
0、业务配比
- 对文本、消息、语音、语音+视频的业务配比，参考日度业务量、支持连接的需求进行正确估算配置
1、性能基准
- 对 连接 的 最高支持数量、建立延迟、稳定性、连接建立TPS 进行测试
- 对 消息 的 TPS、送达延迟、送达率 进行测试
- 对 版本迭代 中的性能优化前后的基准数据进行比较
2、负载测试
- 关注 日度 业务峰值负载（业务量、时间、时长）
- 关注 周/月 中业务峰值负载（业务量、时间、时长）
- 关注 运营推广 过程中所涉及的业务负载（业务量、时间、时长）
- 关注 意外负载 的出现时机、负载特点
3、容量测试
- 基于“性能基准”结果，参考：1000 - 2000 - 3000 - XXXX 的方式进行在线用户数量的递增
- 关注 良好性能体验 条件下的最高支持在线用户数
- 关注 可容忍上限 条件下的最高支持在线用户数
- 关注 系统资源充裕 条件下的最高支持在线用户数
- 关注 系统资源不足 条件下的最高支持在线用户数
4、可用性测试
- 以施加峰值负载的方式达到考核时间周期的业务量
5、可靠性测试
- 关注 网络异常 对性能基准的影响
- 关注 服务异常 对性能基准的影响
- 关注 冗余节点 随机的上、下线对性能基准的影响
- 关注 冗余节点 随机的上、下线对：功能可用性、事务性、性能、持久化设计 的影响
6、资源规划 / 扩容配置
- 关注核心业务在性能上横向扩容过程中，节点增加与性能削减的关系
- 关注即时通讯对服务产生的存储空间占用开销
- 关注即时通讯对服务产生的带宽占用开销
4）测试场景设计
（参考产品设计 与“测试场景设计关注点”：略）
| 测试场景 | 场景描述 | 场景目标 | 执行策略 | 期望结果 |
|---|---|---|---|---|
| 性能基准测试 | ||||
| 负载测试 | ||||
| 容量测试 | ||||
| 可用性测试 | ||||
| 可靠性测试 | ||||
| …… |
五、备注
脚本需要实现 文本消息发送 和 文本消息送达 的断言、延迟、送达率测试。