长尾理论 推荐系统长尾理论

1、什么是长尾理论？

百科名片

长尾理论示意图

长尾理论（The Long Tail）是网络时代兴起的一种新理论，由美国人克里斯·安德森提出。长尾理论认为，由于成本和效率的因素，当商品储存流通展示的场地和渠道足够宽广，商品生产成本急剧下降以至于个人都可以进行生产，并且商品的销售成本急剧降低时，几乎任何以前看似需求极低的产品，只要有卖，都会有人买。这些需求和销量不高的产品所占据的共同市场份额，可以和主流产品的市场份额
相比，甚至更大。

“长尾”实际上是统计学中幂律（Power Laws）和帕累托分布（Pareto
distributions）特征的一个口语化表达。

过去人们只能关注重要的人或重要的事，如果用正态分布曲线来描绘这些人或事，人们只能关注曲线的“头部”，而将处于曲线“尾部”、需要更多的精力和成本才能关注到的大多数人或事忽略。例如，在销售产品时，厂商关注的是少数几个所谓“VIP”客户，“无暇”顾及在人数上居于大多数的普通消费者。而在网络时代，由于关注的成本大大降低，人们有可能以很低的成本关注正态分布曲线的“尾部”，关注“尾部”产生的总体效益甚至会超过“头部”。例如，某著名网站是世界上最大的网络广告商，它没有一个大客户，收入完全来自被其他广告商忽略的中小企业。安德森认为，网络时代是关注“长尾”、发挥“长尾”效益的时代。

2、豆瓣的长尾机制

豆瓣的定位，用长尾理论解释，是想做一个合适的过滤器——帮助发现你喜欢的东西。

怎样做到这一点呢？杨勃从现实生活得到启发。“一堆人聊天，你说到一本书，有个同事跳出来，说这个我也看。你们就会聊起来，会谈到别的书。豆瓣的分析思路也一样，都看过这本书的人，他们在阅读其他书时有多少重合。”

杨勃把推荐机制分为两种。一是按内容分类，比如分析一首歌的节奏、配器、频率，然后将与其类似的歌划为一类，著名的Pandora.com就是这样做的。

还有一种是社会性推荐。“前一种方法，即便只有一两个用户，你也可以做起来。而第二种方法，你必须有很多数据积累。到数据足够多的时候，它会更有效。”

3、长尾的另类解决

很多长尾商品只有很少的评分，因此很难在推荐系统中应用。在实际中，可以将整个商品集划分为头部和尾部，对尾部进行聚类分析。尾部的推荐是在聚类内部的评分基础上，头部商品的评分是在单个的基础上。通过这样的方式，可以减少长尾商品的推荐错误。

很多推荐系统忽视那些评分很少的不流行或者新商品，仅仅关注那些实际使用有足够评分的商品。目前，推荐系统，遵循这样的规则，推荐那些热销的商品，从而增加销量。这样做，类似于增加商品的流行性。