全数据驱动产品优化，美国互联网公司A/B测试经验分享


全数据驱动产品优化，美国互联网公司A/B测试经验分享

摘要：在线A/B测试如何提高移动营销转化率和改进产品体验？Google、Facebook、微软等公司的A/B测试是怎么做的？CTO讲堂第六期请到清华和耶鲁校友、吆喝科技CEO王晔做分享，他曾在Google总部负责广告产品的创新和研发。

为了帮助IT从业者职业之路拥有更多收获，在诸多C粉的殷切期待下，由CTO俱乐部打造的CTO线上讲堂自登场以来获得大家好评。本期邀请清华和耶鲁校友、吆喝科技CEO王晔带来“美国互联网公司A/B测试经验分享及企业技术选型探讨 ”的主题分享。

第一期：APICloud联合创始人兼CTO邹达：以API为核心的移动应用云大发展时代；
第二期：UPYUN CTO黄慧攀：云加速和技术成长那些事儿；
第三期：亿方云科技创始人兼CEO程远：Box首位华人核心工程师的回国创业之路；
第四期：UCloud联合创始人兼CTO莫显峰：如何成长为技术合伙人？
第五期：听云CTO Wood：APM实现原理及对IT和产品运营的价值

想与业界大咖零距离沟通，欢迎加入C粉之家微信群（7月3日，新一期讲堂活动报名方式请拖至文末查看）



主讲嘉宾：吆喝科技CEO 王晔

嘉宾简介：王晔，北京吆喝科技有限公司CEO，清华和耶鲁校友，曾在Google美国总部负责广告产品的创新和研发，对A/B测试系统、大规模复杂系统、数据挖掘和分析、互联网基础架构有深入研究，曾发表过多篇计算机科学论文，拥有多项国际专利。

公司简介：吆喝科技是致力于发掘移动产品真正潜力的创业公司，核心团队来自 Google 等世界500强公司，已获得国际顶尖投资机构融资。

AppAdhoc 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。“顶级的 PM 也只能跑赢一半的 A/B 测试”，我们希望通过引入 Google 全数据驱动产品优化的理念，用数据帮助开发者做产品决策，避免无数据决策的产品风险，提升产品潜力。同时 AppAdhoc 优化平台也可以帮助开发者用数据优化移动广告，让流量的变现价值更大。

以下是6月26日CTO讲堂现场完整速记：

王晔：大家好，我是王晔，吆喝科技的CEO，也负责技术。我和大家一样是技术出身，喜爱动手，喜爱创新。我在清华和耶鲁读书的时候参与过中国下一代互联网(CNGI)和网络App流量优化(ALTO)等大型项目，和国际国内的很多互联网企业有过技术上的深入合作。我在耶鲁、微软研究院以及NEC北美实验室参与过多项技术创新课题，积累了宝贵的经验。

在回国创业之前我在Google总部AdWords部门工作，负责过多个成功的广告新产品。Google广告产品的每一个新改动都是要经过严格的在线A/B测试来验证效果，在保护用户的搜索体验的同时提高广告的转化营收。这种科学的开发和运营方式可以大幅度加速创新，改善用户体验，对互联网企业事半功倍。

我回国后和吆喝科技的同事们一起创业，在A/B测试这个技术领域内继续不断创新，希望我们的技术能够服务和帮助国内的广大开发者们，和大家共同成长。

为什么选择回国创业呢？什么样的契机开始了创业之旅？

王晔：大势所趋，这几年移动互联网呈现指数级发展，现在移动App已经全面超越PC Web。这个发展势头在全球范围内如此，在中国则更加迅猛。在今天的移动互联网市场环境下，中国的创业企业可以做出与国际大企业一样巨大的贡献。同时，移动互联网技术本身仍然处于早期，有无限多的革新可能，可以创造出无限多的商业可能，这对于我们技术人来说是一个历史性的机遇。

创业建立吆喝科技，我个人觉得我们团队的技术积累，特别是在大规模A/B测试上的丰富经验，可以帮助国内的开发者，特别是新一代的敏捷开发高速迭代的移动App开发者，提高设计、研发、运营、营销的效率。更进一步，基于A/B 测试的产品优化服务，我们可以参与到迅猛增长的移动广告，电商，游戏市场。A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐采用，相信在中国也能被广大开发者所接纳。我们希望帮助国内企业用数据来驱动自己的产品优化，造福广大移动用户。

去年我在国内寻找到了很多有着共同理想的有情怀的小伙伴，大家愿意一起来做这件事情。再加上国家政策到全社会的支持，对我们技术人创业是一个很好的机会。

谈谈现在吆喝科技的发展情况以及团队构成情况。

王晔：我们吆喝科技目前尚处于创业早期。我们的产品AppAdhoc Optimizer是基于A/B测试的优化平台，今年4月全面上线，目前已经有几十家试用客户。

我们是一只热爱技术，经验丰富，专业性强的小团队。我的两位合伙创始人张毅飞和王冉分别对互联网精细运营以及移动营销有着多年经验。我们目前有十几位工程师和几位运营和客服，正在广泛招聘中。我们热烈欢迎对全栈技术，大数据，移动端感兴趣的大牛们加盟，共同推动移动互联网进入全数据驱动的产品优化。

举例从具体的应用场景介绍一下吆喝科技提供的产品服务特点？与同类型产品服务相比，技术与产品优势体现在哪些方面？

王晔：用一个电商App的场景作为例子。电商App集成了我们的SDK之后，就可以在AppAdhoc Optimizer控制台创建很多“测试版本”，每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告，并选择发布效果更好的测试版本。



拿这个例子来说，假如这个App有100万在线用户，通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本，产生了10万购买；另外50万用户看到右边版本，产生了40万购买。这个试验数据说明右边版本产生的转化率更高，可以通过控制台将这个版本推广到所有100万用户。





说到产品的特点和优势，吆喝科技在A/B测试引擎的流量分割方面下了很多功夫，可以尽量保证试验用户流量的代表性和试验数据的准确性，同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。

我们的SDK不仅支持Web(HTML5)端A/B测试，还支持原生移动App(iOS, Android)端和后端的A/B测试。我们的云控制台简单易用，试验数据清晰细致。对比而言，吆喝科技的技术和产品目前在国内是领先的，在国际范围内也是很有竞争力的。

用数据做产品决策

该如何理解“全数据驱动产品优化”的理念，能否详细谈谈“用数据帮助开发者做产品决策”？

王晔：移动互联网的产品经理和工程师在设计和开发产品时，会更多的从C端用户的需求出发做产品优化。需要强调的是，对用户行为的深度理解，很难仅仅依靠决策者的个人洞察力。有些经验只有通过科学的A/B测试的试验数据才能获得。



用Microsoft Bing的一个产品改动作为例子。右版和左版相比，只是颜色做了一些小调整(CSS里几行改动)，人眼几乎看不出区别，但是用户点击率大幅度提高，年化收益增加了1000多万美元。在Google，类似的优化案例时常发生，而这些优化是完全由试验和数据来推动的。

小到颜色调整，大到产品逻辑，都可以通过数据来驱动产品的优化。



用Amazon的信用卡广告作为例子，这个广告最初放在购物页面里，几乎无人问津，而且浪费了宝贵的广告位；当产品经理尝试把这个广告放在结算页面时，用户就会发现这个信用卡的好处，A/B测试的试验数据显示这个改进会带来年化上亿美元的营收增长。产品经理以数据证明了自己的成功。

全数据驱动(Data Driven)的产品优化理念就是为产品优化确定可以量化的“优化指标”，进而通过A/B测试这样的科学试验手段来大胆尝试各种改进，由试验数据来决定哪种改进更好。

要注意的是，试验数据如果不进行充分的分析可能带来不正确的决策。

比如电商App的新设计里强调了商品价格，结果导致用户点击率下降一半！这说明这个改动是不好的么？不一定，因为有可能点击商品的用户的购买转化提高了2倍以上。也就是说，新设计的商品信息对用户更加有用了，反而可能增加营收。

另外，阅读数据要全面，要避免以偏概全或者以全盖偏的问题。例如，如果App用自己公司的员工做试验，得到的试验结果未必能推广到全体用户。

再例如，试验结果显示新版本比老版本提高了0.2%，微不足道；但是可能对城市里的年轻女性iPhone用户来说，新版本比老版本提高了20%，从这个试验中学到的经验依然很宝贵。

所以，App开发者需要制定科学的优化指标，从海量数据中挖掘出有用的用户行为信息。AppAdhoc Optimizer支持自定义的优化指标和可计算的复合指标，能够多维度的分析试验数据。我们吆喝科技的专业团队，也会做好咨询服务，帮助开发者理解和分析试验数据。

您在Google工作了很久，分享一些您了解的美国互联网公司A/B测试的经验，比如Google,、Facebook、Microsoft这些公司。

王晔：刚才我们已经举了一个Microsoft Bing和Amazon使用A/B测试提升产品的例子。

我再说说自己在Google的经验。随着A/B测试的不断改进，Google几乎所有的产品，包括新上线的产品，每一次更新都需要首先通过细致的A/B测试验证。

事实上，Google的各个产品每个月都有成百上千个不同的测试版本在运行，试验数据决定了大量的改动都不能最终上线(Fail Fast)，而最终通过数据证明自己更好的改动使Google的营收每月可以提升大约2%。日积月累，Google仅仅通过数据化驱动的方式就能保证年化增长达到20%。



这张图是Google从2007年建设好Web A/B测试平台之后的测试版本增长情况图。

Facebook在移动App的产品质量上遥遥领先，它作为单一产品更加依赖自己强大的A/B测试平台。因为Facebook App每次更新的时候都会将未来6个月甚至更长时间内想要测试的新功能都集成进代码。Facebook将这些功能逐个通过A/B测试的方式检验验证，如果功能有问题，或者用户反馈不好，测试版本就会被修改或放弃；只有效果好的改动被推广给全球用户。

这样，绝大多数手机用户（没有被分配“坏”测试版本的用户）的体验是Facebook App没有Bug！而且Facebook App的用户体验越来越好。

我们也了解到国内的百度、知乎、大众点评网等都建设了自己的A/B测试系统，并且获得过很好的产品优化效果。

在线A/B测试是如何提高移动营销转化率的？该如何改进产品的用户体验？

王晔：A/B测试在企业的市场营销和产品的用户体验上都可以起到很大的作用。举一个移动营销的例子，现在非常流行的在微信中传播的HTML5营销页面，往往稍做改动就能带来巨大的变化。一些可以尝试的改动包括：压缩H5文件大小，给用户更多的交互，让用户转化尽量在页面内完成不做跳转，将文案放在图片下方、缩短文案、改进措辞、调节颜色等。

实践经验告诉我们，一个专业设计的H5页面经过一系列优化，可以将分享次数和用户转化提升几倍乃至更多！这相当于节省了巨大的推广成本。



再举一个产品的例子，用户注册和登陆的流程很大程度上影响了用户体验。Airbnb尝试过各种不同的简化用户注册和登陆的方案，并且在这个环节的用户体验上反复推敲，包括背景、文案、字体、按钮的位置等。

一个经过优化的用户注册登陆页面，可以使真实用户流失率下降几倍，趋近于0。这对于App的用户增长来说非常珍贵。要注意的是，大多数改动对优化指标的影响很小。同时，确实有少数改动会“意外”地产生明显的巨大的改进效果。所以只有通过多加尝试，比如一次运行多个试验，以及尽快尝试不同的测试版本，每一个1%的改进互相叠加日积月累就可以产生10%，20%，乃至100%的提升。

另一点要注意的是，尽管优化经验是可以积累的（比如什么颜色的背景可以增加用户停留时间），但是特定的优化经验往往只对特定App有效，不一定能直接复制。甚至同类型的不同App，往往最优的策略也很不相同，这是因为不同App的用户群体很难重和，以及用户对不同App的期待也有区别。

在线灰度发布功能是如何加速App/Web敏捷开发的？

王晔：对于早期App开发者，精细化的优化成本太高，大量的微调型的A/B测试也没有必要。对于这些开发者，AppAdhoc平台依然可能很有帮助，特别是我们提供了一个非常有用的在线灰度发布功能，可以大大提高开发者的敏捷开发效率。

我们的SDK 包装了“模块开关”这个API接口，开发者在每次改动代码时可以在控制台定义一个或者几个模块开关，然后用模块开关来保护代码改动。简单的说，可以让新功能只有在模块开关打开的情况下才展示给手机用户。

在新代码部署上线之后，用户对新代码无感知。开发者可以通过AppAdhoc控制台开放新功能给部分用户，用来检测bug和获得用户反馈。如果发现问题，可以随时回滚到老版本；如果新功能获得成功，则可以推送给所有用户。



这种对不确定的新功能进行灰度上线的模式，能够使每一次代码改动更快的部署，减轻企业内部的QA和测试压力；而且可以快速通过应用商店的审核；特别是在发现问题时可以无须通过审核直接关停有问题的试验。

企业技术选型的思考

这几年，中国技术ToB服务的迅猛发展趋势，互联网+时代的企业该如何做技术选型和采购技术？

王晔：2015年被称为企业服务市场的元年，这是因为中国企业持续不断的自我进步，对移动互联网新技术有着特别热情，积极的态度。中国的技术类ToB服务因此可以和美国同行一样，大胆创新，用专业技能为企业客户解决各种各样的问题。

中国的新一代开发者已经赶上和超越了美国同行，习惯于使用云平台、Github、Docker，以及其他各种开源和共享技术。将通用的技术问题交给专业的第三方服务去解决，这是这些企业可以专心致志发展核心业务实现火箭一样发展速度的部分原因。

在选择使用哪些第三方技术供应商的时候，除了口碑与性价比以外，技术公司的专业性是很重要的考察因素。

在吸收技术服务的过程中，可以先在风险较小的产品上开始试用；可以考虑使用和对比(A/B测试)多家技术解决方案；如果对数据隐私非常重视，可以考虑购买私有云整套解决方案。

这里我提一句，AppAdhoc Optimizer的A/B测试引擎虽然也收集用户数据，但是仅仅需要获取短期试验数据，A/B测试并不需要App的历史数据。

在这样的大环境下，吆喝科技的下一步产品研发方向以及重点发力点会在哪些方面?

王晔：尽管处于创业早期，我们吆喝科技已经对于未来有比较明确的发展规划。我们的重点是对AppAdhoc Optimizer优化引擎的不断改进，包括：建设更加强健的后端集群，实现支持日活数十亿用户；更加详尽的数据对比分析功能；通过机器学习给客户提供自动优化的建议；针对不同用户群体的定向用户体验功能。

另外针对非深度开发者的移动营销人员，我们即将推出一个所见即所得的HTML5营销页面优化平台，可以方便营销人员不做代码改动就实现各种各样的A/B测试，不断优化移动营销的效果。敬请大家期待我们的新产品。

此外，未来我们会和合作企业一起，深耕移动广告产品的优化，创造出用户喜爱的新广告形式，造福广大手机用户，同时提高移动App的流量变现价值。

要成长，请离开舒适区

吆喝科技的技术团队是什么样的氛围？

王晔：哈哈，我也是年轻人：）创始人的影响下，吆喝科技是Google工程师文化的践行者。公司业务非常开放透明，以技术和产品主导决策，工作氛围积极快乐。在应对技术问题时，大家敢于挑战难题，乐于大胆创新，积极沟通交流，勇于承担责任。

吆喝科技提供免费午餐，免费健身，经常举办各类体育活动。每周五有全员聚会(TGIF)，每月都有深度研讨(Deep Dive)，公司时常有全员旅行办公(Offsite)。大家互相学习，共同进步，保持年轻。

从工程师到CTO，这一路您也有很多积累和感悟，招人过程中哪些特点是您比较看重的？

王晔：我觉得学习能力和沟通能力是最重要的。优秀的团队可以将新人培养的一样优秀，前提就是新人积极学习，乐于沟通。性格上符合公司的文化也非常重要，因为对创业团队来说，团结作战是必须的生存法则。

对于还未有太多职场经验的技术人，向有经验的技术大牛学习毫无疑问是能很快提升自己水平的方法。不过这一点大多数人都可以比较容易的做到。

比较难做到的是离开舒适区(Get out of your comfort zone)。如果你发现自己最近一年没有遇到什么技术上的挑战，要么你已经是这个领域的带头人，要么你就需要重新审视一下自己：也许应该积极研究产品、技术上可以做哪些革新和改进，也许应该参与一下其他更新颖的项目。

我们工程师有时候会不自觉地对新技术有抵触。究其原因，我认为是所谓的舒适区(comfort zone)心理让人变得懒惰。一旦某个技术深入理解了，某个框架使用熟练了，某些代码逻辑写多了，我们就会习惯性地依赖他们。这虽然在短期内有助于工作效率，但是在长期来看却可能错过提高自己的机会。

大胆的尝新和试错，是最能够锻炼自己技术能力的。

我们公司现在的Android SDK负责人，几年前是做Java系统开发的。当写Java非常熟练以后，他主动去研究刚刚发展起来的Android。写Android代码一开始是用Eclipse，写过几个App之后他又换用Android Studio，进一步提高了开发效率。

加入吆喝科技以后，他在开发AppAdhoc Android SDK的过程中，深入探索了Android各个版本，使我们的SDK可以兼容到API 8，几乎覆盖世界上所有活着的Android手机。最近他又在研究Google I/O 2015上提出的Android新框架和新接口。

现场互动：如果保证用户隐私的安全性？

王晔：

首先，我们的SDK并不会获取用户的个人信息，我们只统计客户App关心的优化指标，所以我们是和客户App一起尊重用户的个人隐私；
其次，我们并不保存和处理App的历史数据，A/B测试需要的只是短期的试验数据用来科学的判断哪个试验更成功就可以了。
最后，我们可以为客户App提供私有云解决方案，数据完全不经过我们。

现场互动：AppAdhoc Optimizer优化引擎 这个架构是怎么样的？

王晔：我们的主体是云端的试验控制、试验流量分割、以及数据统计和对比分析。



现场互动： App验证某个版本效果最佳后，可以实时将其他版本也切换成最佳版本是吧。那么是否对用户有明确的告知、教学类的提示呢。用户会不会感觉突然操作习惯变了？