根据测试的上下文调整测试方法（Aligning Testing With Its Context）

 
根据测试的上下文调整测试方法（Aligning Testing With Its Context）

-By Adam White and Steve Rabin

原文来自 www.stpmag.com  Software Testing & Performance 2006年第12期

软件测试是部分艺术部分科学的东西。要做到有效率，需要从系统的组成和系统运行的整体两方面来全面地看。最重要的是，测试需要你带着批判的态度去思考，问合适的问题。
 
通常，测试是创造性和墨守成规的组合。但是，由于软件开发周期中出现的复杂性和时间紧迫，我们很容易忘记了什么才是一个软件产品需要被验证的。
 
这把我们带到了本文的主题：上下文。如果软件测试的目的是保持信心和基于风险的报告的话，测试员必须问正确的问题以保证把产品在合适的时间推向正确的方向。测试员以此来帮助改进产品的质量。显而易见，测试很大程度上是一种上下文依赖的活动。
 
对于一些测试老手，他们可能已经把这点给忘记了，或者默守某些用例，建议他们重温一下本文的内容。
 
What Is Testing?什么是测试？
这个问题的答案有很多。James Bach，“Lessons Learned in Software Testing：A Context-Driven Approach”的作者，他把测试定义成“为了评估产品而进行的盘问”。
 
[align=left]Cem Kaner，与Bach一起合作写书的作者，测试的一代宗师，在他们的黑盒测试教程中把测试定义为“为利益相关方提供质量相关的信息而进行的产品技术调查(www.testingeducation.org/BBST.)[/align]
 
[align=left]在2004年的Software Test and Performance会上，他的主题“The Ongoing Revolution in[/align]
[align=left]Software Testing,”，Kaner说：“测试是调查。作为调查员，我们必须充分利用有限的时间和资源，从大量的潜在任务中做聪明的抽样调查。大部分的调查是探索-我们边学习边调查，我们不断地设计测试以反映我们不断增长的知识。部分这些所设计的测试的可以重用的。”[/align]
[align=left] [/align]
[align=left]Context Counts 重要的是上下文[/align]
[align=left]在www.context-driven-testing.com上的“Lessons Learned”有两个样例项目。[/align]
[align=left]Safety-critical applications和Data-safe applications[/align]
[align=left]在第一个例子，你将测试一个飞机控制程序。在这个上下文里，“正确的行为”是关键。[/align]
[align=left]你所做的任何事或不做的任何事，都有可能导致灾难。这个项目的开发组必须像工程师一样地小心、精确、重复、互相代码审查。这类软件必须通过严格的认证程序。[/align]
[align=left] [/align]
[align=left]在第二个例子，你开发一个在线使用的文字处理程序，在这个上下文里，可靠的文档处理和把大量的用户从Microsoft的Word引诱过来是关键。[/align]
[align=left] [/align]
[align=left]没有什么需求可言，可用性、可靠性、市场发布的及时性等特性要比“在10纳秒内完成任务”的特性更为重要。这个项目组的成员所需的技能、开发方法等要求与第一个项目的有很大的不同。[/align]
[align=left] [/align]
[align=left]你作为测试员的工作就是决定采用什么样的测试活动来帮助你肯定地说：“这个产品已经可以交付给用户使用了”。基于不同项目的上下文，可能采用完全不同的测试策略。[/align]
[align=left] [/align]
[align=left]表一可以帮助你决定什么时候你需要基于风险报告有用的信息给你的项目负责人。在不同的上下文有可能采用表中不同的测试方法。[/align]
[align=left]Table1：TESTING LAUNDRY LIST[/align]

[align=left]Type[/align]	[align=left]Purpose[/align]
[align=left]Unit tests[/align]	[align=left]Determine if regressions are caused and[/align] [align=left]estimate thread safety and code coverage[/align]
[align=left]Build verification tests[/align]	[align=left]Quick “smoke” tests designed to ensure that[/align] [align=left]the product is ready for further testing[/align]
[align=left]Full functional tests[/align]	[align=left]Determine if all product functions work as[/align] [align=left]intended[/align]
[align=left]UI tests[/align]	[align=left]Can root out interface errors and help with[/align] [align=left]user friendliness[/align]
[align=left]Regression tests[/align]	[align=left]Determine consistent functionality across[/align] [align=left]builds[/align]
[align=left]Load tests[/align]	[align=left]Ensure that product isn’t overwhelmed by[/align] [align=left]masses of users or data[/align]
[align=left]Benchmarks[/align]	[align=left]Either by build or platform, can help a team[/align] [align=left]set and adhere to performance goals[/align]
[align=left]Installation tests[/align]	[align=left]Verify successful deployment on a variety of[/align] [align=left]operating systems and platforms[/align]

[align=left]E 1:TESTING LAUNDRY LIST[/align]
[align=left]Change Is The Only Constant 永恒不变的只有变化[/align]
[align=left]通常很难预料项目随着时间进展的情况，实际上，在项目开发和测试中，变化可能才是最可靠。[/align]
[align=left]最好不要徒劳试图改变的需求不断变化、测试计划永远无法完成的事实。最好把你的时间花在设计和执行测试上，而不要花在不断地更新测试计划上。[/align]
[align=left] [/align]
[align=left]Value-Added Testing 增值测试[/align]
[align=left]好的软件测试是富有挑战性的智力活动。要做到这点，你需要在开发生命周期中的适当时间点切入，然后尽早获取测试代码。关注你处在哪个阶段，你在这个阶段扮演的角色是什么。[/align]
[align=left] [/align]
[align=left]如果你的角色是自动化测试，要记住你不是简单地把手工测试自动化。测试执行和自动化工具非常重要，但是不能忘记要测试的是什么、如何去测试它，这些其实才是重点。[/align]
[align=left] [/align]
[align=left]测试的最后阶段是验收测试(acceptance testing)，也叫QA测试或beta测试。在这个阶段，决定软件的可接受程度，测试通常包括软件的目标用户、项目组的其他成员。[/align]
[align=left] [/align]
为了避免曲解测试结果，由参与测试的人以及决定软件可接受性的人来记录测试结果的上下文非常重要。
[align=left] [/align]
[align=left]Are We There Yet?[/align]
[align=left]往往受迫于市场压力，产品提前发布。[/align]
[align=left] [/align]
[align=left]那么这时候软件产品是否处于可发布状态呢？下面是几个判断依据：[/align]
[align=left]1. All critical and high-priority bugs are fixed.[/align]
[align=left]是否所有关键的和高优先级的bug都已经fix？[/align]
[align=left]2. All critical functions of the product have been implemented and tested.[/align]
[align=left]是否所有关键的功能都已经开发出来并且已经测试？[/align]
[align=left]可使用www.satisfice.com/presentations/dashboard.pdf上的测试矩阵表的方法来判断。[/align]
[align=left]3. Automation reports proper results.[/align]
[align=left]自动化测试结果是否理想？[/align]
[align=left]如果你在项目中使用自动化测试，确保自动化测试关注在软件程序的适当的区域。[/align]
[align=left]4. Requirements are verified.[/align]
[align=left]需求是否得到测试验证。[/align]
[align=left]确保测试用例覆盖了每个需求项。[/align]
[align=left]5. Metrics.[/align]
[align=left]度量。算一下有多少个用户问题被成功地解决了。项目过程中的缺陷率也能提供一些预测信息。[/align]
[align=left]6. Test case coverage.[/align]
[align=left]测试用例覆盖率。注意当程序在不断变化，测试资源在不断变化的情况下。这个度量方法可能会使一些不懂测试的人把不好的软件当成好软件看待。[/align]
[align=left]7. Ask your team.[/align]
[align=left]直接问一下项目组中的成员，问一下他们是否认为是发布的适合时候，他们是否有信心交付给用户使用。[/align]
[align=left] [/align]
[align=left]Keeping an Eye on Risk 关注风险[/align]
[align=left]不管你付出多少努力，你的项目还是有可能碰到风险。这种不幸还有可能有不同的出现方式。也许你的组员没有找到一个重大的bug，但是你的用户在软件发布后发现了。[/align]
[align=left] [/align]
[align=left]也许你发布得太早了。软件发布要在测试覆盖的广度和宽度之间取得平衡。但是往往，是否发布不是由开发组决定的，而是市场决定的。[/align]
[align=left] [/align]
[align=left]也许你发布得太晚了。如果你选择了错误的度量方法，或者关注于错误的功能特性上，你的进度会停顿，版本发布会delay。[/align]
[align=left]为了避免这些陷阱，在你定计划的时候、执行测试的时候，记住上下文。个性化你的测试过程以满足不同项目的个性化要求，可以增加成功的机会并减少风险。[/align]
[align=left] [/align]
[align=left]RESOURCES 资源[/align]
[align=left]Books[/align]
[align=left]• “Testing Computer Software,” Cem Kaner, Jack[/align]
[align=left]Falk, Hung Q. Nguyen (Wiley, 1999)[/align]
[align=left]• “Lessons Learned in Software Testing: A Context-[/align]
[align=left]Driven Approach,” Cem Kaner, James Bach, Brett[/align]
[align=left]Pettichord (Wiley, 2001)[/align]
[align=left]Online[/align]
[align=left]• www.bettersoftware.com[/align]
[align=left]• www.satisfice.com[/align]
[align=left]• www.developsense.com[/align]
[align=left]• www.kaner.com[/align]
[align=left]• www.context-driven-testing.com[/align]
[align=left]Training[/align]
[align=left]• Black Box Software Testing[/align]
[align=left]www.testingeducation.org/BBST/index.html[/align]
[align=left]• Rapid Software Testing[/align]
[align=left]www.satisfice.com/seminars.shtml[/align]