抓取与反作弊

代理服务器

• 足够多足够丰富的IP池控制

• session，cookie，http请求头等各种信息凭证的伪造or真实凭证

• 模拟真实用户的访问路径设置

• 识别蜜罐，别让爬虫做无用功

获取用户

产品线面临增长困境的时候，很大的一个原因就在于，如何获取用户，如何提高新增，有钱的产品可以花钱买量，买推广，买下百度的关键词竞价一年，买下苹果Appstore的搜索推荐（据说国外已经开始卖了，国内不知道开卖没有），买下微信游戏平台的推广合作，那流量哗哗的来，根本不愁。

那么问题来了，没钱怎么办？作为技术人员，你没有推广资源，你怎么办？就只是无能为力么？

SEO 搜索引擎优化

前端同学会非常了解，搜索引擎确实存在广告竞价排位，但如果一分钱没有，我们也是可以通过各种方式，提高我们业务网站对搜索引擎爬虫的亲和性，从而实现不花钱，但还是可以尽可能的引流量，正所谓二八原则，排行第一页前20%的链接可能占了所有页链接流量的80%，出了第一页流量会少的可怜，第一页如果排在末尾也是远远不如往上排效果好。

这块我并不打算班门弄斧，因为这门学科其实是一种猫鼠游戏，SEO做多了搜索引擎会打压，SEO的方式公开了，搜索引擎会对不良的竞争策略主动屏蔽降权，因此SEO这门学问很多时候处于一种，不可说，不可多说，不可明面说的尴尬境地。看书的话你或许只能看到一些常规手段，但里面其实也需要很扎实的技术功底

• 关键词研究

所谓的搜索关键词匹配，深入做好SEO一定要做好关键词研究，抢占什么关键词？火热的关键词，大家都抢，你的网站的权重，网站内容的质量，是否能在那么多强占的人中脱引而出？火热流量你能抢到多少？不火热的关键词容易抢，但是流量低，可是流量低就没价值了么？如果关键词足够长尾（《长尾理论》一本书，可以好好研读），那么虽然长尾词流量低，但是长尾词是很精准，因此转化率会很高，那么怎么挖掘长尾词呢？

关键词的研究是否能机器进行处理呢？如果你有1篇文章想做SEO，你可以让专业的SEO人员为你用常年积累下来的经验分析选择，选出最合适的关键词。但是如果你有10000篇文章想做SEO怎么办？如果你有10W，100W个页面想做SEO怎么办？这是否就又引入了分词，挖掘，自然语言处理，长尾词自动建设等技术。这已经是很有含金量的技术手段了。

关键词还可以通过抓取竞品网站，分析竞品网站关键词如何设定，就是运用到了上文提到的抓取技术

• 站内优化

站内优化更需要丰富的前端知识，首先要让你的网站访问流畅，不卡顿，不会加载慢，这是基本的诉求，这样用户才不会很快流失，搜索引擎很重要的一个判断标准就是跳出率，所以做好自己的网站性能一定是有必要的

其次做好网站sitemap优化，减少网站URL目录层级，都是从网站架构上让爬虫spider更方便的抓取内容的方式，深度URL设计优化，可以让URL中也带英文相关的关键词，等等

更有甚对于传统的老式爬虫，js flash Ajax等爬虫不友好的网页代码，是否需要准备一个专门用来给爬虫使用的文字型引导站点（虽然现在主流搜索引擎的爬虫都支持Ajax的异步抓取了）

• 外链建设

通过合作建立外链，增加自己的网站的曝光度，流量越多搜索引擎也会为你调整权重和曝光策略，但是这里面盲目的散发外链，机械引入垃圾引导外链，又会增大用户的跳出率，从而被降权，因此外链建设也是需要仔细思考的

ASO 渠道市场优化

ASO是app渠道市场优化，并且这是和SEO相近似的一个类似猫鼠游戏的领域，现在有aso100，appannie等很多网站都提供付费与免费的专业ASO指引，这背后还是蕴含着很多技术能提供的策略引导，数据收集决策的

ASO一些刷量刷榜公司会用人肉评论，人肉购买付费刷量的方式刷付费榜，但这种刷榜公司是处理不了免费榜的（苹果已经无数次的改变排行榜排名算法，还有反作弊降权账号策略了）。是的我们有钱可以刷榜，未来苹果在中国开放了ASO服务，我们也可以用钱来买榜，但是如果我们没钱，我们一样有很多可以做的

• 关键词

和SEO一模一样，每一个款app都可以填100个字的关键词，100个字字数有限，我们如何能选出效果最好最有效的关键词？每一个关键词各大ASO平台都提供了关键词指数查询，选关键词真靠拍脑袋想？你想到的100个字，真的都是高热点关键词吗？你查到的高热点关键词就一定会带来转化吗？（影视剧确实是高热点，你一个金融理财，里面扔一个火爆影视剧的关键词，就算你们被展示出来了，你觉得搜索影视剧的人看到金融理财会点进去选下载吗？）

选关键词，选优质关键词，选高转化关键词，背后一定可以通过技术手段去提供有效地策略指导的（这也是这种付费ASO平台所存在的盈利模式），我们没钱的时候，我们是否能从技术出发，主动思考这些策略吗？

关键词还可以通过一些ASO平台，抓取竞品网站ASO情况，分析竞品网站关键词变化情况，机器查询相关关键词ASO评分，从而对最终ASO100字决策进行指引。

• 评论

苹果市场的排行榜，用户评论是会对排名有影响这已经被验证了，我们能否用技术的方式引导用户去评论呢？弹个框直接跳转评论页面，这个是很普通的技术，用户看到残忍的拒绝真的会愿意点拒绝，那我们能否用足够有吸引力的文案和自己激励用户去评论么？引入ABTest去看看什么样的引导用户是最买账的

花钱付费推广反作弊

花钱付费推广，有钱能解决的就一定用不上技术么？（先不说存留和转化，这里只说新增）。

去渠道市场花钱买了30W的激活，这30W的激活，渠道说30W你就认30W？就老老实实的掏钱？你要的是真正的用户，真正能带来收益的用户，如果渠道用脚本，用机器人骗，去作弊，你怎么办？难道不需要强大的技术手段，对于穷凶极恶的作弊措施，精准的发现识别，避免自己的经济损失，有钱也不能当冤大头啊

激发活跃

一个用户来了，可能是通过搜索，可能是应用市场渠道，可能是朋友推荐，社交网络传播。那么进来的用户如何在第一时间吸引用户把他留住呢？换句话说就是新用户次日存留

这里可以有很多产品设计，用一些激励，用一些新手引导，用一些任务，来让新用户留下，这里有什么技术可以做的吗？

Deeper Link

首先介绍2个词

• Deep Link

Deep Link其实就是scheme这种技术，能让用户在浏览器里无缝的跳转到已经安装的app里，跳转到已经安装的App里的指定页面，能让开发者将浏览器里的数据，登陆信息也好，浏览记录也好，都传给App，让App做贴心的展示，让用户没有从一个浏览器，到打开另一App的阻断感，直接在App里就能还原用户刚刚在浏览器里的场景，这样可以大幅度增加用户的舒适度

这项技术其实被广泛的运用在用户激活与唤醒，也就是长期用户存留上，为什么？这项技术的前提必须是已经安装App了，可能用户暂时还没想起来使用App，当他在社交网络里，被某一篇来自WAP的易于传播的网页所吸引，点开WAP网页后，通过这种高体验度的方式唤醒App，成为当日的活跃用户，这是已经被验证有效的，还可以结合社交网络病毒传播的增长方式

• Deeper Link

Deep Link的最大问题在于只对已经安装的用户有效，对于没有安装的用户，他连app都没下，我怎么从网页给App传数据啊？我怎么让用户还原在网页上的场景啊？我怎么无缝衔接网页的登陆状态，浏览记录啊？

所以我们需要Deeper Link，这可以说是一种黑科技的存在，虽然技术细节实现了并没有那么神秘。每个App都是一个独立沙盒，就连浏览器本身也是一个独立App，之所以是黑科技，他在操作系统层面其实是不希望一个App有这么高的权限去干扰另一个App的，更何况是干扰一个还未安装的App，因此移动端操作系统用沙盒将之隔离，只开放有限的几种通信方式，但是并做不到 Deeper Link。我们是通过一些其他的方式来实现的。并且由于操作系统不同，各个操作系统可能有自己独特的绕过的思路

可以想象一个场景，用户在社交网络的WebView里，或者专业浏览器App里，看到了已于推广传播的WAP网页，用户被网页上的内容，吸引，已经和网页产生了互动，并且留下了互动的记录，此时此刻我们引导用户去下载App将得到事半功倍的效果。如果用户下载App的时候他惊讶的发现，他直接可以延续刚才在WAP上的账号，可以延续刚才玩的活动游戏，可以延续刚才看的新闻，甚至还因为在活动看过某个自己喜欢的宝贝，在下载App打开惊喜的发现，这个宝贝送给他了，那么这种 Deeper Link 的产品设计，将会对新用户激活率产生无与伦比的助力，并且这种方式依然可以借助WAP在社交网络内进行病毒式推广营销

这项技术还可以用于渠道统计，要知道iOS是没有渠道号的概念的，我们想做推广打渠道号，来检测这个推广位好坏，在iOS是无法实现的，因为iOS只有唯一渠道Appstore，但是友盟/TalkingData依然也能从唯一渠道里，识别出用户在下载前来自哪个网页哪个广告产生的点击下载，这里面依然使用了 Deeper Link（其实iTunseconnect后来也提供了渠道号式的解决方案，可以在itunes链接里用特别的链接标记来在iTunseconnect里查看，但这功能还是有一些限制）

Deeper Link的技术实现

• 设备指纹，设备唯一识别

• SFViewController iOS9 cookie互通（建议放弃不要使用！！）

• js clipboard safari api iOS10（推荐）

我之前就专门写过一篇在iOS上的DeeperLink的文章，iOS app与浏览器深度链接 DeeperLink，还是需要强调的是，这毕竟是一种黑科技，随着操作系统不断地更新，很多方式也不会是一成不变，所以这篇文章，我也会与时俱进的进行调整，上次简单追加了最新的推荐方案，但是感觉写的不是很清楚，比较随意一笔带过，导致很多人还会找我咨询旧的被淘汰的方案，改天有时间我重写重新梳理一下吧

至于安卓，我文章里有些技术是通用的，有些技术是iOS专有的，但安卓也是有自己独有的类似方案的，比如说往安装包里植入数据信息等

用户存留

这个就相当于长时间存留，新增用户来了，被你激活了，那么接下来他会不会持续使用就体现在用户存留，长时间存留里面，这里和上面的用户激活一样，很大程度归功于产品设计，功能易用，内容吸引人。那么技术在这里能做啥呢？

技术保证App稳定/性能流畅

这个就比较泛了，产品设计可以留住吸引住用户，但App经常crash的话再好的产品也留不住任何人，因此客户端的最基本的性能与流畅度其实是一个很重要的事情，这里面要说深了有很多方面，crash率控制，异常保护，性能优化，完善/自动化测试，甚至动态修复。

但这里不深究的原因其实是，即便我们不是专门在做增长，在做Growth，这几点都一定要牢记并且付诸行动的。

如果没有这几点的保证，如果App稳定性流畅性上存在明显短板，增长这件事情别想

个性化推荐算法体系

尤其是对于那些基于内容的产品与服务，一整套个性化推荐算法体系，在我看来是增长持续动力，为什么？

现在是一个信息爆炸的社会，社交网络，自媒体，短视频，新闻，大量的信息充斥在现在的信息流之中，而人看到屏幕一串信息的时候，在最先看到的几条内容里，投入精力和关注度最高的，后面看到的信息慢慢就丧失了兴趣。在这样的背景之下，不能再像以前一样只按热度为所有的用户提供一模一样的信息流，因为最上面最能获得用户关注度的位置是有限的，不是所有人都喜欢通过热度选出来的同一条信息，因此个性化，千人千面的推荐，投其所好，抓人眼球的推荐，是可以牢牢地抓住用户兴趣的。

个性化推荐国内堪称典范的就是今日头条了吧，他们背后所依赖的深度算法，后端架构，一整套个性化推荐体系涵盖了（用户数据挖掘，用户画像，用户数据追踪，机器学习），成就了今日头条的Feed流，这里面每一项感觉都是非常非常深得技术，我这个客户端开发出来的感觉真是太nb，太伟大，我虽然不太懂，我也说说我自己对个性化推荐这个技术的一些看法（项亮写了一本书《推荐系统实战》非常推荐阅读）

我个人对个性化推荐认知还非常不成熟，希望能有人给提出建议

我这方面没啥经验，看着同事们摸索跟着同事们学习围观看来的╮(╯_╰)╭

个性化推荐的模型

个性化推荐的体系结构下一般都包含着很多种模型，每种模型的设计出发点，推荐思路都是不同的，真正的推荐系统应该是综合了多种推荐模型的结果

• 内容推荐 contentBased

• 相关推荐

• 协同推荐 - 用户 userCF

• 协同推荐 - 商品 itemCF

• 热度热搜推荐

• 人工精选推荐

• 用户画像推荐

• 等等

推荐系统一定是有多种模型共同作用产生的结果，并且模型之间还要有动态调权的机制，通过不断的试验/训练，来找到合适的多模型之间的权重，以及RANK排行，这背后无论是模型建设还是调权排行，背后都需要机器学习数据挖掘的知识

同时还需要一套反馈系统，对于用户的点赞，转发，不喜欢等行为，为推荐系统进行反馈，从而矫正出更完善更适合目标用户的整体模型架构

特征库的挖掘

推荐很重要的就是用机器挖掘Tag，对每一个人打Tag，对每一个商品/文章打Tag，一个人喜欢看电影，喜欢玩游戏，可以自己给自己打上电影/游戏的标签，刚上映的大片《金刚狼》看过的人可以打上好莱坞/漫威/金刚狼/科幻/电影/X-Men等标签，这都是由人脑打出来的标签，机器能否打出这样精准的细粒度的标签？就全靠数据挖掘/自然语言处理/机器学习等技术了

• 基于人的行为进行特征挖掘，挖掘出来的Tag，可以被称作一种用户画像

• 基于物的内容进行特征挖掘，挖掘出来的Tag，就是物品的特征

• Tag树建设

Tag本身是零散的，网状的，有层级关系的，不同于分类（分类是人工的，有规律的，非网状的），由于Tag的这些特性，零散的Tag之间也应该进一步挖掘出Tag与Tag的关系，这就是Tag树，油条，葡萄酒这些Tag都属于饮食这一Tag之下的，而饮食又算是生活休闲这一Tag之下，我们第一步挖出了成千上万的Tag，第二部就是要把这些Tag进一步挖掘他们之间的联系，建立这种Tag树

有了这些特征库，我们的推荐算法就可以涵盖到用户画像层面的推荐，物品协同，人协同的推荐也会通过Tag的体系更加精准

个性化推荐算法的难题

• 用户冷启动

我们的很多模型都是根据一定的用户数据来推荐的

相关推荐：用户看过哪些文章，推荐类似的

协同推荐: 看过这个东西的用户，还看过哪些东西，推荐类似的

用户画像推荐：用户数据记录，分析用户喜好哪个领域，推荐类似的

问题来了，一个新用户刚刚来到我们的产品，他什么记录都没有，纯新用户，没有画像，没浏览过商品，没有好友，怎么办？

这就是所谓的个性化推荐-冷启动

其实解决办法我们准备的那些热门推荐，人工推荐模型在此时可以派上用场，但只能这样了么？

其实也不尽然，用户画像没有要求必须一定是在你们产品里的用户数据，挖掘出来的用户画像，完全可以借助社交网络，可以使用某些社交网络公司提供的现成API接口

就算社交网络没有提供任何API，也可以是拿出我们上面的法宝爬虫抓取，通过爬虫抓取来用户的海量数据，通过我们自己的挖掘算法生成用户画像

• 越推荐越窄

这个我感觉是个性化推荐里最头疼的问题了，所有基于用户画像，基于用户浏览记录，基于协同，基于相关，各种推荐都指向了一个结果，机器通过用户已表现出来的行为，推荐出相应的结果，这里有一个最重要的细节就是用户已表现的行为，一个用户在网络上面展示出来的喜好可能并不代表他的全部喜好，他喜爱摄影，在网络上留下了各种与摄影有关的痕迹与数据，但这并不代表他不喜欢电影，他只是没在有限的网络数据里体现电影这一兴趣而已，但是由于机器会进一步推荐摄影这一结果，导致用户会不自觉的点选更多摄影的内容，从而这部分内容会逐渐侵占电影这一推荐权重，从而用户以更低的几率留下关于电影的数据痕迹。最后形成了一种滚雪球效应，推荐面越来越窄

这应该是一开始搭建个性化几乎人人都会踩到的一个坑，如何在推荐用户感兴趣的内容的同时，还能推荐用户可能感兴趣机器还猜不到的内容。因此传统的热度推荐，人工推荐也是不可或缺的，在算法调权或者机器学习训练之中，来平衡解决个性化推荐的越推荐越窄的这一最大难题

吐槽：说真的，我现在用今日头条这个问题很严重，翻了几个火影， 紧接着就满屏幕火影，翻几个妹子图，满屏幕妹子图了

基于Push的精准用户唤醒体系

用户唤醒是指，一部分用户已经不来你的产品了，可能删除了App，也可能并没有删除App，只是很少启动了，这时候如何唤醒这类用户呢？恩，没删App那我们就给他发push，删了App咋办？发短信骚扰（这个确实很骚扰，但我们技术的价值就体现在，用机器和算法找到对的人，找到那些不觉得骚扰，还有需求的人）

• Push的到达率

这就和技术相关了，iOS这一点可能感知并不明显，因为Push只能依靠苹果，到不到达的，我们能做的能力有限，但是安卓就不一样了，安卓的进程保活技术到现在也是炙手可热，值得深挖从而保证push的准确到达，同时安卓还可以和对应机型设备，联系对应的push渠道，华为/小米就像苹果一样，为自己的设备有一套专门的push服务

• Push的精准度

全体发Push是一种严重的骚扰，用多了原本正在使用app的活跃用户也会被你骚扰而走，那么挑选合适的发push的人，定向精准的发push就成了技术的挑战

我们需要基于用户的数据，用户的喜好，用户的画像，来发送不同的内容，不同的商品or文章or运营活动

我们更需要对于用户的行为进行筛选，筛选出哪些有可能要离开的，有可能长期不来的，有可能以前有过深度使用甚至付费但长期不来的（这种召回几率更加的大），筛选出这些用户后再给予不同层面的激励，就能更好的实现用户唤醒

全面可配的自动化运营机制

之前提过产品运营，产品运营会以各种活动，促销等形式来不断的提高产品用户的活跃度，运营活动是永不停止的，不可能每一个活动都完全当做一个产品feature来下大力度研发/发版，就算是纯WAP网页的运营活动，也不可能每一个活动都完全重写一个活动页面。

如何建立一套可配置的，自动化运营机制，这是给所有研发的一个挑战，确实PM的需求层出不穷，不可避免的会需要重新开发迭代，但终归运营活动还是有一定套路的，有一定套路就有规律可循，有规律可循就可以把它自动化配置化，可以交给pm在后台配置后发布的套路活动，可以节省巨大的研发人力和研发成本。

同时这套自动化运营机制最好从架构上灵活设计，支持各种扩展不断迭代，这样就运营活动的工作效率会成倍提高

病毒营销

又要回到之前反复提到一点了，病毒营销也是一个全看PM怎么设计怎么营销的事情了，但是我们的技术一定有其中可以发力的点，我们就是要寻找这样的技术突破，来像放大镜一样，把病毒营销的效果，成倍放大

病毒营销这种场景，鉴于他极度依赖社交网络传播的特性，想要传播快，无意WAP H5网页是最好的载体，所以我们的策略可以从优化H5种种环节入手

Deep Link or Universal Link

如果你的产品病毒营销的案例在朋友圈爆发，大家纷纷点赞转发，那些已经是你的用户但是有日子没来了，他看到了这个网页，直接参与活动就唤醒打开了App，这是不是就是你所期望的用户唤醒？没错！

你自信满满的拿出了Deep Link，也就是scheme技术，准备在WAP里大搞特搞，突然发现？WHAT!!微信屏蔽了！这时候就需要技术开动脑子了，不然如果每次都让用户参与营销活动的时候，点右上角，浏览器打开，这个转化率太低了。iOS试试Universal Link吧（当然这也是个猫鼠游戏，毕竟你在别人的app里面在搞事情）

Deeper Link 与社交化分享拉新

病毒营销难道只用来唤醒老用户？当然不是，我们最大的关注点还是拉来新用户！那么好，在各种WAP活动中进行的病毒式营销，如何引导别人下载呢？如何让别人下载后激活的概率更大呢？

没错Deeper Link，至少在现在的Deeper Link 方案里，设备指纹与剪切板，都是可以在微信手百等第三方浏览器里正常工作的

增加收入

增加收入这块我就不再提什么PM们的促销活动了。就说我们技术能做的

ABTest

什么东西好卖，什么东西现在销量高，当你有数以万计的商品的时候，怎么选出最好卖的东西？ABTest，ABTest的一些详细介绍我就反复介绍了

个性化推荐体系

什么人喜欢什么东西，会买什么东西，什么人刚买了什么，是否需要买别的东西，什么人的朋友买了这个东西，他会不会买，如果我们的技术有能力做出这样的判断，无疑对于销售会大幅度促进

这就是个性化推荐体系，个性化推荐体系的细节我也不反复介绍了，多说一句，最开始的个性化推荐应用就是出现在电商网站的，亚马逊用它深厚的技术，在个性化推荐与售卖相结合上，走在了前列

专注目标

我们一口气聊了非常非常多的能对增长有促进的技术，而且这些只是我自己想到的，肯定还有无数的增长技术没有想到，也没有提到。

但绝不是让大家面面俱到的把一切都做上，《增长***》书里提到有一条必备素质就是专注目标，而且看《增长***》的时候，你会发现书中举得各种例子，没有一个是这种方方面面全做的，都是在某个细节做到极致的案例。

这就是专注目标的意义，每个产品线都有自己产品线的情况，每个产品线应该采取的方式绝对是不同的，成功的产品线说起经验来或许头头是道，但你拿过来复制绝对不代表一定能成功。因为行业在变，环境也在变。

不变的是什么，是我们要基于自己业务线的数据进行分析，进行思考，寻找自己业务线最大的痛点，寻找自己业务线最大的短板，从而有针对性的重拳出击，专注目标，虽然快速迭代，快速试错是一种心态，但我们还是要本着一击必中的决心去履行增长***的职责

而且还有一点，今天我们聊了很多都是具体技术，但真正一个技术是否能在产品中运用的得到，最终收获数据增长，一定要有技术结合业务的思维，再好的技术你不在业务中得到正向验证也是没有意义的，所以增长***一定是能够全面的思考，研发/产品/运营/设计/用研的角色

从一个研发人员，转变成一个增长***，去从一片荆棘和迷雾中趟出一条数据增长的血路，真的是一件挺有挑战的事情。

PS:越说越像鸡汤了，其实我本意不是在灌输啥类似创业的鸡汤，只是当你跳出研发的思维后，想想业务，再想想如何用技术切合业务，背后的挑战真的很有意思