Python告诉你iPhone X有多热卖（附代码）

專 欄



❈强哥，Python中文社区专栏作者，曾供职于摩根士丹利（Morgan Stanley）和eBay。❈
    
        我们用Python来爬取淘宝店铺的数据，分析一下iPhone X到底有多热卖。先来看下淘宝上的销量数据长什么样。

        淘宝上的销量数据有两种方式估算，一种方式是用累计付款人数近似销量，像下面这种显示在这个数字里的每个人都至少购买了一部手机，所以总销量一定大于等于累计付款人数。


        淘宝上并不是每一家店铺都显示累计付款人数，对于下面这种只显示评论数的情况就只能用评论数来估算销量了，具体怎么估算后面会提到。        知道怎么获得销量数据，接下类我们就开始爬数据了。我们要爬的数据藏在下面高亮的URL里。


        我们用Python的Scrapy框架来实现一个爬虫，爬取不同搜索页的URL，爬虫代码如下：




        我们爬得温柔点，这里设了爬完一次休息2秒再爬。爬完的数据存入了mongodb，接下来我们将数据从mongodb中读出来，去除不相关的产品和重复的产品，估算一下缺失累计付款人数商品的销量数据，然后统计总的销量和销售额。        这里重点讲述一下怎么用评论数来估算商品销量。淘宝上的商品的评论只有在购买成功后才能添加，一次购买行为最多对应一条评论（首评，追评都会归结到一条）。按常理分析，商品累计付款人数和评论数应该呈正相关的关系。        我们提取mongodb里累计付款人数大于0并且评论数大于200的商品。销量太少的商品的评论数量可能会存在一定随机性，因此我们限定用于分析的商品的评论数必须大于200。用散点图画出累计付款人数和评论数的关系，如下:


        上图横轴是评论数，纵轴是累计付款人数，累计付款人数和评论数还是呈现很明显的正相关关系的。我们用线性来拟合这个关系，对于那些只有评论数的商品，我们用拟合出来的公式来推算该商品的累计付款人数，由此来估算销量。        数据分析部分的代码如下：




        上面这段代码有如下的输出：


        可以看到，至今为止，iPhone X在淘宝上共卖出了19万部，销售额达到了16亿多。        这个销售量到底什么水平呢？我们可以统计一下差不多同期上市的几款手机的销量，做个比较。用同样的方法，我们从淘宝上爬取了iPhone 8，华为Mate 10，小米Mix 2的销量数据，将它们和iPhone X放在一起做比较，有如下的数据：




        可以看到iPhone X无论在销量还是销售额上都遥遥领先，远远超过其他手机。        当然淘宝只是iPhone X的一个销售平台，同样在销售iPhone X的还有京东，苏宁，苹果线上和线下的实体商店等。由于很多大平台并不公开销量数据，要统计iPhone X总的销售量还有很大的难度。但根据之前新闻报道iPhone X开卖2小时招行销售额破20亿、双十一京东购机预约数量破200万、苹果商店门前排起长队、黄牛将一部手机价格炒到2万等这些来判断，这次的iPhone X一定是大受好评的。


长按扫描关注Python中文社区，获取更多技术干货！    
Python 中 文 社 区
Python中文开发者的精神家园

合作、投稿请联系微信：
pythonpost

— 人生苦短，我用Python —
1MEwnaxmMz7BPTYzBdj751DPyHWikNoeFS