PHP抓取百度百科数据实践

最近在用PHP抓取各种IP数据，这里讲一下在抓取百度百科数据时的步骤以及遇到的坑。

首先我们要确定抓取的内容是什么。比如我们想抓取“周杰伦”的数据。我们直接在百度搜索周杰伦，会出现百度的搜索结果，其中就有百度百科的内容，我们直接点进去。



我们先看一下我们搜索结果的百度百科URL是什么样子的：



可以看到格式为http://baike.baidu.com/link?url=para
b85c
ms

其中这个params其实就是urlencode我们搜索的关键字之后形成的参数，所以我们可以根据前端直接POST过来的关键字进行URL的拼接之后用CURL或者phpQuery来抓取百度百科页面的信息。但是这里有一个问题。我们搜索出来的关键字的百科信息可能对应了不同的词条。比如我们搜索了“仙剑奇侠传“，我们本意想搜索胡歌主演的电视剧，但是百科的第一词条却是显示的仙剑奇侠传这个游戏，这个词条是一个多义词。所以我们前端传过来的值最好是确定的百度百科URL，这样我们抓取的信息会准确无误。

好了现在有了URL了，我们下面就要开始抓取我们想要的数据了。最想要的数据应该就是我们搜索出来的词条的基本信息，就是图下的内容：



周杰伦是名人，你可按照词条的分类不同建立不同的数据表，比如人物一张表，影视内容一张表等等，因为同一类的百科基本信息组成都差不多。如果用NoSQL就更方便了，直接把这些信息全放进去就可以。

抓取页面一部分的内容还是用phpQuery比较方便，我们先看一下这个基本信息的DOM元素：



可以看到这个是一个basic-info为class的div包裹的，左边的信息在basicInfo-left中，右边的信息在basicInfo-right中。具体的信息在一个dt和dd组成的元素里，一个信息(在.basicInfo-item name的class)对应一个值(在basicInfo-item value的class中)。

我们直接把这个class为basic-info的div里面的html抓取下来就好，剩下我们在用正则匹配我们想要的内容。

直接pq('.basic-info')->html()就可以了。

我们先看一下抓取到的内容是什么样子的：



基本上就是一个原始的HTML内容。我们要正则匹配出来我们想要的信息然后存入相应的字段中。

我们先把这个字符串里的空格都清楚掉，方便我们的正则匹配，我这里写了一个函数：



！注意：可以看到我最后还替换了一个\x{00a0}的东西，这个是什么呢？这个就是一个坑。大家可以在上面的HTML图中看到，其中信息为两个字的中间有四个空格，但是这个空格并不能用平常的空格给代替掉，必须用ASCII码来替换，这是需要注意的。

接下来正则匹配我们想要的信息：



这里也要注意，有些我们想要的信息是有多个信息匹配的，虽然名字不一样，但是里面信息的内容却是相近的。这里举例的是明星和运动演员，都是获得的奖项，但是名字却不一样。同样的还有电影的票房，票房、全球票房、统计票房等等，其实都是票房的字段信息，随意抓取的时候多观察几个百科页面的信息，做到万无一失。

然后将匹配到的信息存到数组中准备插入数据库，在插入数据库之前还有一个工作要做：



我们要把数组中的标签、注释和多余信息给剔除。

注释是这样的：



多余信息是这样的：



这些都是要注意的内容。

最后我们就得到了我们想要的数据了，分类插入数据库就OK啦。