如何快速掌握阿里巴巴内部高效测试流程？

原文地址

自动化测试是软件测试技术上的一大进步，我们都知道自动化测试可以给工作提效，减少重复劳动，但在实践过程中，却总是碰到各种各样的问题，导致进入自动化测试盲区。如何做好自动化测试，是很多企业迫切想要解决的问题。近日，阿里巴巴产品专家金桐从自动化的烦恼，到分层自动化单元测试、业务服务层测试和UI测试的优劣势分析，再到阿里巴巴分层自动化的实践之路，为大家提供了一套分层自动化实施解决方案。

自动化

为什么要做自动化？

手工测试效率低下，发布频繁，回归量大、成本高，重复劳动很枯燥。自动化测试，就是用机器执行替代测试手工操作的一种测试方法，能够帮助测试人员从重复、枯燥的手工测试中解放出来，从而节省人力、时间或硬件资源。

节约劳力为（N-1）M，M为此项工作单次需要投入的资源，N为此项工作需要重复工作的次数。

自动化的烦恼

如果自动化这么好，为什么大家没有全部做自动化呢？特别是对于初创公司，自动化测试非常少，原因大致如图。



上图不难看出，阿里该部门这一周的自动化失败次数不仅没有与发现bug数成正比，还浪费了测试人员41次自动化失败的排查时间，而这些时间对于做自动化查bug的初衷，都是无意义之举。

为什么外部环境、业务变更、应用环境问题、执行机问题、数据问题、框架问题这些都能引起这么多失败呢？而单单真正查出bug的概率这么低呢？

结合我们的多年自动化实践与总结，自动化存在如下这些缺点：

成本高

人员成本高：基本要懂某种自动化框架的代码语言，要有一定的编码能力，同时代码逻辑要清晰，否则如何能保证合理性、逻辑性、业务性与健壮性这些大大影响自动化成功率的因素？如何能保证自动化测试脚本本身没有bug？

环境成本高：开发环境、运行环境、调度环境等等，接触过代码的同学都知道，一次环境的安装，没有大半天甚至一天是完不成的。同时要让自动化对接到项目自动化流程中，或定时监控等，还需要再开发调度平台，这些成本对于从0到有的测试组，甚至是一家公司，将会是多大？需要投入多少人日的工作量可以完成这些？

效果差

从上图分析就知道效果如何，图中还只是阿里某部门单周的一个采样，就已经浪费了41次排查时间，这样的自动化测试，若运行一年，那效果又会如何？能确保后面没有这些干扰的失败吗？失败次数可以和bug数成正比吗？

覆盖率低

经常有同学抱怨自动化的覆盖率低，很多分支和逻辑无法覆盖，这大部分原因是这些同学的理解偏差，很多人都将UI自动化作为自动化测试的全部。然而没有一种自动化测试框架可以覆盖一个系统的所有功能点的测试，所以出现“自动化”覆盖率低的观点。那该如何提高自动化的覆盖率呢？

及时性低

其实从图中10次业务变更引起的自动化失败，就是这一缺点的佐证。所谓业务变更，是指正常的项目变更，但脚本未及时更新引起的自动化失败。这种失败恰恰又证明自动化测试是有用的，只要测试覆盖到的内容，一旦有变，自动化就能测试出来。那如何提高我们的脚本及时性呢？

原文地址