您的位置:首页 > 编程语言 > Python开发

直播网站LiveTV Mining,爬虫抓取数据 python3+selenium+phantomjs

2016-04-07 10:41 911 查看

LiveTV Mining http://www.zhengwentao.com

介绍

此站点是为了实现爬虫数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计,后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。

开源代码地址:Github

站点是在个人兴趣指引下用业余时间写的项目,可能技术还欠缺火候。使用中有问题或更新建议,欢迎直接提issue 反馈。,或可以用以下联系方式跟我交流:

邮件: zwtzjd@gmail.com

QQ: 3084582097

历程

2016-04-06 域名 http://www.zhengwentao.com 申请完毕,正式建站。

2016-04-05 上线前解决网页BUG,调整样式撰写”关于”信息。开发完成搜索模块。

2016-04-03 解决内存泄露、Phantomjs执行缓慢超时的问题,爬虫运行稳定。完成房间统计表格自动生成绘制功能开发。

2016-03-29 主机申请完毕,采用Nginx+uwsgi部署试运行。

2016-03-28 选用Celery框架做后台任务执行。开发完成独立Flask插件 Flask-Celery 适用于Python 3.4+,Celery 3.0+。

2016-03-26 调整重构爬虫模块,从其他模块中剥离独立。

2016-03-25 完成战旗、虎牙爬虫开发。

2016-03-24 完成斗鱼爬虫开发,采用python3+Selenium+Phantomjs直接读取斗鱼网站信息。使用Flask+Bootstrap开发网站。

2016-03-23 Github创建仓库,开始项目开发。

感激

感谢以下项目的支持,排名不分先后

Flask

Bootstrap

Selenium

Celery
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息