Python Scrapy初步使用
2016-12-07 23:27
295 查看
1、创建爬虫工程
scrapy startproject stockproject001
2、创建爬虫项目
cd stockproject001
scrapy genspider stockinfo quote.eastmoney.com
3、定义数据项或数据字段
打开 items.py,输入:
4、定义爬取规则
打开stockinfo.py,输入:
5、定义数据处理管道
打开pipelines.py,输入:
6、启用爬虫项目
打开settings.py,修改:
7、执行爬虫
scrapy crawl stockinfo --nolog
--nolog不看日志
.....................
scrapy startproject stockproject001
2、创建爬虫项目
cd stockproject001
scrapy genspider stockinfo quote.eastmoney.com
3、定义数据项或数据字段
打开 items.py,输入:
4、定义爬取规则
打开stockinfo.py,输入:
5、定义数据处理管道
打开pipelines.py,输入:
6、启用爬虫项目
打开settings.py,修改:
7、执行爬虫
scrapy crawl stockinfo --nolog
--nolog不看日志
.....................
相关文章推荐
- python基础-函数式编程
- 学习python的第三十天-参数,return语句,文档字符串
- Python_Day_3
- scrapy源码分析(九)-----------Scheduler
- [置顶] python3 django models保存filefiled字段统一目录、不修改文件名的方法
- 趣学Python之弹球游戏第四阶段--全屏乱弹
- Python的字典
- 很土的python爬虫程序
- 一个用Python实现的多入口全网爬的多线程爬虫的实现
- 让你快速学习python基础笔记002(一起动手实践)
- 在ubuntu中写python ,并完成文件的读写操作
- 17 Python __slots__
- Python 2.7_Second_try_爬取阳光电影网_获取电影下载地址并写入文件 20161207
- Python基础3(内置标准函数的使用一)
- 用python备份文件
- FTP弱口令猜解【python脚本】
- python中 *args和**kwargs的基本用法
- python 高阶函数与装饰器
- python的psutil package简直不要太好用
- 关于Python的一些使用小技巧