Node.js爬取微信h5牛牛金花网站平台开发数据
2018-02-26 18:25
615 查看
今天爬取的是微信h5牛牛金花网站平台开发http://h5.fanshubbs.com搭建联系Q1687054422,一直自以为自己vue还可以,一直自以为webpack还可以,今天在慕课逛node的时候,才发现,自己还差的很远。众所周知,vue-cli基于webpack,而webpack基于node,对node不了解,谈什么了解webpack。所以就自己给自己出了一道题,爬取豆瓣数据,目前还处于初级阶段。今天就浅谈爬取到豆瓣的数据,再另一个页面用自己的方式展现,后续会跟进。
1、需要解决的问题
①、搭建服务
②、怎么处理爬到的数据
③、怎么自动打开默认浏览器
2、搭建服务
搭建服务有好几种方式,一开始我用的http,但是http有个弊端就是不能解析https协议的url,所以就用了express,解析https协议的网址我用了request包,豆瓣的网址是https的,
如下图,我要获取的有三个部分,图片、电影名字、电影链接.
3、怎么处理爬到的数据
我们用request爬到的数据,怎么处理呢?cheerio包可以让我们像Jq那样处理爬到的html数据。
①、首先解析数据,取到爬取网页的html数据;
②、然后利用cheerio包操作爬到的数据,取到你想要的数据。
③、取到数据,创建html,输出到页面。如下图,我用的字符串拼接,办法有点笨,还没有找到更好的办法。
4、怎么自动打开默认浏览器
不知道你有没有看vue-cli中webpack的配置,自动打开浏览器,vue-cli用的opn包.
这个包用起来很方便,引入包,直接调用opn(url)即可;
5、展示
1、需要解决的问题
①、搭建服务
②、怎么处理爬到的数据
③、怎么自动打开默认浏览器
2、搭建服务
搭建服务有好几种方式,一开始我用的http,但是http有个弊端就是不能解析https协议的url,所以就用了express,解析https协议的网址我用了request包,豆瓣的网址是https的,
如下图,我要获取的有三个部分,图片、电影名字、电影链接.
3、怎么处理爬到的数据
我们用request爬到的数据,怎么处理呢?cheerio包可以让我们像Jq那样处理爬到的html数据。
①、首先解析数据,取到爬取网页的html数据;
②、然后利用cheerio包操作爬到的数据,取到你想要的数据。
③、取到数据,创建html,输出到页面。如下图,我用的字符串拼接,办法有点笨,还没有找到更好的办法。
4、怎么自动打开默认浏览器
不知道你有没有看vue-cli中webpack的配置,自动打开浏览器,vue-cli用的opn包.
这个包用起来很方便,引入包,直接调用opn(url)即可;
5、展示
相关文章推荐
- 关于node.js的web框架的微信h5牌九平台开发及并发性能测试
- php语言之H5微信牛牛网站搭建开发平台技术栈
- Python API 类型微信h5鱼虾蟹棋牌网站开发平台的设计与演变
- Spring Cloud 学习笔记-搭建微信h5牛牛棋牌房卡平台开发应用
- 嗡嗡_互联网众包平台_App微信H5网站开发服务
- 用C++实现跨微信h5牛牛平台棋牌开发搭建教程
- 如何正确的在微信H5棋牌牛牛出租平台搭建开发中的UI图中取色
- 微信平台开发环境nodejs+mongoDB搭建全过程
- 微信H5牛牛平台开发Java开发人员必须注重HTML5的理由
- Koa (koajs) 基于 Node.js 平台的下一代 web 开发框架
- 创建一个提供数据 API 的 Node.js 网站
- Node.js + Express + Mongodb 开发搭建个人网站(一)
- 基于 Node.js 平台,快速、开放、极简的 web 开发框架。
- 【微信公众平台开发】微信JS-SDK开发,信公众平台js-sdk
- 使用nodejs+mongodb+百度开放云开发微信或web应用
- Node.js + Express + Mongodb 开发搭建个人网站(二)
- node.js微信开发《一》
- 微信开发(二)设置微信回调服务器 ( Node.js )
- 微信开发原理 公众平台开发模式的数据交互方式
- Node.js+MongoDB+Express网站开发(一):使用Ping++SDK接入支付功能