您的位置:首页 > 编程语言 > PHP开发

使用phpspider爬虫

2018-01-08 10:20 204 查看
使用python爬虫固然很方便,但是发现php在这方便也不弱;使用框架爬虫真的要高效许多。

1,先看下phpspider的结构



2,举例子:比如我爬取南昌新闻网的一个分类



这个注释要加上,不然报错,可以看看源码,源码里面有很多方法;

3,然后是配置下爬虫:





4,然后将配置文件放入框架类文件,实例化:

这里的 on_scan_page 是爬取的入口url,这些URL跟我配置的 content_url_regxes 正则规则匹配,所以在后面的爬取过程中,会爬取到这几个页面的数据



5,对匹配后的字段field进行回调处理:



6,进行爬取数据入库处理  , 跑起来



以上只是一个简单的例子,还可以进行多进程爬取,代理爬虫,很多好玩的
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: