性能测试报告注意事项

一、性能测试报告编写技巧

　　在对结果进行分析并得出结论之后，性能测试工程师要把它们以文字报告的形式发送给相关人员。这就是性能测试报告。除了书面文字之外，可能的话，公司还会召集人员开专门的会议进行报告讲解和结果分析。所以，性能测试报告是性能测试工程师的工作成果，也是公司其他部门考察性能测试工程师能力的重要窗口，编写出一份优秀的报告对公司的决策以及个人的职业生涯都非常有益处。

　　1、什么是好的性能测试报告

　　实际工作中的性能测试报告，一般是以Word/PDF格式文档或者电子邮件形式存在。而测试报告的读者，一般是整个项目组的管理者甚至更高层面、相关同事比如开发人员等，他们并不一定具备多少测试背景知识，因此，测试报告要尽量避免测试术语，要用容易理解的话语进行叙述。另外，它不应该是性能测试结果的简单罗列：因为读者是上级或者其他同事，他们没有多少时间来关心测试的具体细节，而只关心报告中测试结论是否合理以及结论的内容。这是需要性能测试工程师注意的原则问题，即不能从自己出发来写报告，而应该为报告的读者考虑。

　　根据这样的原则，要完成一份好的性能测试报告，最好做到如下几点：

　　提交报告的时机。

　　可以与测试主管就报告进行讨论。

　　有效地总结概括测试数据。

　　报告应该清楚易读，结合图表，但不能滥用图表。

　　报告要具备较强的逻辑性。

　　报告要具有层次感，几个部分区分明显、清楚。

　　测试报告一般分为测试目的、测试方法、测试数据概括总结、测试结果分析、结论这几大部分。在实际工作中的要求不尽相同，有的公司会有自己的模板，因此在文档结构上并无一定之规。但内容方面，如果能做到如上几点，编写出一份很好的性能测试报告就不是困难的。

　　2、详实记录中间结论

　　详实记录中间结论对于分析性能测试数据是非常重要的。实际工作中，经常发生初始的结论与最终结论不一致的情况。在分析每张数据表格或者图之后，如果可能，我们都要记录下该图或者表格说明了什么问题，有什么疑问。通过这样的方式，测试工程师对于整个Web应用的性能图景会逐渐明晰，也有利于做出错误结论后的回溯，发现分析思路上的错误。

　　总之，对于性能测试结果的分析，要有认真负责的态度和细致科学的方法。有了它们，不难得出正确的结论。

　　3、提交报告时机

　　与功能测试等不同，性能测试在整个Web应用的开发过程中并不是连续进行的，因此性能测试报告一般只会在几个时间点附近（比如某阶段结束前）才能让有限的读者看到。这容易给人以一种印象，性能测试并不如功能测试那样重要，如果时间紧迫，甚至不用很系统地进行。这就会影响到性能测试工程师的成就感和积极性。因此，性能测试工程师有必要创建一种性能测试持续存在的氛围。这样做有如下几个益处：

　　（1）培养同事对于性能测试的关注，普及性能测试的一些知识。这有助于测试报告的读者更好地理解性能测试的过程与测试报告的内容。由于日常工作中主动介绍性能测试知识显得比较突兀，根据实际情况，可以选择在测试部门会议之中选取短暂的时间介绍一些性能测试的理念。

　　（2）利于项目组内团结协作精神的培养。分享自己可以使人获得更多。比如，在开发人员刚刚修改完一些代码的时候，性能测试工程师不妨做一次小小的测试，如果比之前性能有所改进，就可以将结果用电子邮件的方式，不那么正式地发出来，同时还可以将性能测试数据放置于项目组内的服务器之中共享给所有成员。通过这样的方式，开发人员可以得到性能改善的好消息，互相鼓励，性能测试工程师的工作也让整个项目组看到，喜欢钻研的同事还可以到服务器共享中查看数据，性能测试工程师或许就能获得更好的反馈。

　　总之，提交报告的时机需要掌握，有如下技巧：

　　正式的性能测试结束后，要尽快发送整理好的测试报告，供决策、优化之用，以体现效率。

　　在两次正式性能测试之间，可以执行若干轻量级的性能测试，将改善的地方非正式地通知全组，以普及性能测试常识、激励同事与自己，提高团队精神。

4、与测试主管的讨论

　　性能测试报告的读者是其他同事、部门甚至更高级别的领导，因此在发送报告之前，有必要与测试主管就报告内容进行讨论。通过讨论，至少可以获得如下的信息：

　　（1）发现问题。测试主管一般来说测试经验更为丰富，遇到和解决过的问题较多，因此他/她可能会发现现有报告的问题，进而提出改进的意见。

　　（2）使得报告表达更清晰易懂。总体说来，测试主管与其他同事、部门乃至更高级别领导沟通机会较多，对于报告潜在的读者了解更深入，熟悉他们的阅读习惯与表达方式。如果有了更详实的读者信息，那么报告做有针对性的修改，会更清晰易懂。

　　（3）增加工作交流的机会。在一个团队当中，信息共享是很重要的，与测试主管的讨论有助于主管了解当前的工作，可以为性能测试工程师解决一些困难。

　　总之，多与测试主管进行工作上的讨论，对于一名初级性能测试工程师的成长是很有裨益的。

　　5、有效总结测试数据

　　有效地总结测试数据包含如下几个要点：

　　（1）在测试报告的内容中，测试数据不能分散在各个部分当中，而应该单独列为文档的某一部分。这样的安排可以使得文档结构更加清晰，读者在阅读测试数据的时候更加专注数据本身。

　　（2）对于测试数据，不可能将所有的数据都列于测试报告之中，可以将最能支持结论的数据列出一行并说明各数值的代表含义。同时，必须列出获取测试数据的方法，用尽可能简单的语言陈述清楚。

　　对于报告中的测试数据，我们需要掌握的原则就是它必须真实，并且能够有力地支持结论。测试数据与测试方法部分一般放置于报告的前半部分。

　　6、测试报告与图表的结合

　　前文多次提到测试报告要清晰易读，而图表就是增强可读性的一种有效方式。对于枯燥的数据来说，人们很难从数字中快速发现规律和趋势，而一旦将数据转换成图表，情况则会明显不同，趋势往往很直白。另外，颜色搭配合适的图表相对更容易吸引读者的关注。

　　【图表的副作用】

　　但是，需要注意的是，图表不是越多越好，因为那样的话单个图表所能吸引的关注就会被平均分配，最后降低到文字的水平甚至更低，这里边或许也有所谓"审美疲劳"的因素。因此，图表不在于多，在于精，在于支持结论，说明问题。

　　在Excel中将数据转换为图是非常容易的，下面我们将介绍这样的方法。

　　1）在Excel中为数据生成图（1）

　　在Excel中为数据生成图表的方法实际上利用了Office Web Component组件的功能，它默认是与Office一起安装在硬盘中的。如果在控制面板中没有发现该组件，可以在微软官方网站免费下载。

　　下面笔者通过简单的步骤，为表14-7中某Web应用各栏目首页的6次响应时间数据生成图。

　　表14-7 某次性能测试的响应时间数据

请求频道首页	响应时间（秒）
网站首页	7.3 6.8 7.1 6.9 7.0 8.5
新闻栏目首页	8.5 8.4 8.0 7.8 7.9 8.3

　　续表

请求频道首页	响应时间（秒）
论坛栏目首页	9.8 9.5 9.4 9.0 9.4 9.6
联系我们栏目首页	3.2 3.2 3.3 3.2 3.2 3.3
产品栏目首页	4.5 4.6 4.3 4.5 5.0 5.0

将上述的数据输入Excel的一个工作表，并全部选择数据与说明的单元格，如图1所示。

图1 在Excel中选择待生成图的数据表

　　【其他数据文件格式与Excel】

　　在实际工作中，测试结果绝大多数情况并不是Excel默认的xls文件，而以txt、log、csv为后缀名的文本文件居多。这是因为，这些文件没有附加的格式信息，生成容易并且相对快速。那么，这些文件中的数据是否也可以在Excel中生成图表呢？答案是肯定的。利用Excel的"文件"|"打开"菜单，选择打开文件类型为"文本文件"，就可以将很多使用Tab键、空格或者逗号对测试数据进行分隔的文本文件导入到 Excel的工作表中，非常方便。

　　选择完毕后选择"插入"|"图表"菜单，即可以打开生成图表的向导，如图14-8所示。另外，在导航菜单中也可以单击图14-9中说明文字指向的"图表向导"（Graph）图标按钮达到相同的目的。

　　图表向导由4个步骤的设置对话框所组成，第1步需要确定的是图表的类型，界面如图14-10所示。

　　这里列出了日常工作中应用的绝大多数类型，如果有需要，也可以自定义新的图表类型。

　　【图表类型的选择】

　　不同类型的图表，适合于表现不同的数据关系。因此，在报告中应用正确的图表有利于表达与支持报告的结论。在性能测试领域，一般来说折线图适合表达响应时间等数值越小越好的数据；柱形图、条形图适合表达并发用户等数值越大越好的数据；饼图适合表达Web应用终端用户信息，比如浏览器版本、IP分布等；XY散点图适合表达整个领域各组成元素的同一类数据等。