scrapy文档(教程)学习遇到的问题总结
2016-08-02 18:10
369 查看
scrapy文档,挺赞的,看一下就完了
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
总结遇到额问题
1/注意自己安装的版本要跟教程左下脚的教程版本对应,不同版本有细微差别
2/设置下载中间件
在settings.py最后加上这一句,设置下载器中间件
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'tutorial.rotate_agent.RotateUserAgentMiddleware' :400
}
3/抓取中文出现乱码,看我的这篇文章
http://blog.csdn.net/yimingsilence/article/details/52105641
4/找xpath的时候可以借助firefox的firebug插件
持续更新
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
总结遇到额问题
1/注意自己安装的版本要跟教程左下脚的教程版本对应,不同版本有细微差别
2/设置下载中间件
在settings.py最后加上这一句,设置下载器中间件
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'tutorial.rotate_agent.RotateUserAgentMiddleware' :400
}
3/抓取中文出现乱码,看我的这篇文章
http://blog.csdn.net/yimingsilence/article/details/52105641
4/找xpath的时候可以借助firefox的firebug插件
持续更新
相关文章推荐
- 学习ubuntu遇到的问题总结,陆续更新。。。
- Objective-C基础教程学习遇到的小问题(不断添加)
- 移动开发学习第一发:基于百度地图开发地图显示时遇到的问题总结
- 优龙FS2410开发板学习过程遇到问题总结
- Android学习遇到的问题及总结
- (转)WTL学习过程中遇到的一些问题总结
- C++ 关于static variables的学习中遇到的问题总结
- dwz问题(本文主要是供个人学习成长之用,陈述的是本人在开发过程中遇到的几个小问题的总结,可能兼或插入一些网络资料)
- .net学习遇到的问题总结
- 学习搭建scrapy,记录遇到的问题
- 在自己学习stuts是遇到问题后总结的经验。
- 最近在ArcGIS Engine开发中关于调用gp工具过程出现COM 组件的调用返回了错误 HRESULT E_FAIL 错误的解决方法 和 学习oracle中遇到的一些问题总结
- Github开源项目SlidingMenu学习遇到的问题总结
- 新人学习Android开发遇到的小问题总结
- [项目过程中所遇到的各种问题记录]学习篇——对工作以来的学习过的开源项目进行总结—DiscuzNt
- 在自己学习stuts是遇到问题后总结的经验。
- 学习SSH中遇到的问题总结
- 学习爬虫过程中遇到的问题总结
- android webservices使用教程及遇到问题总结