使用scrapy写好爬虫进行工作的时候,遇到错误及解决方法
2016-03-28 17:02
429 查看
如图中所标出的,提示参数的问题
解决办法:
spider目录下的 爬虫文件内容做些更改:
出现报错的文件内容:
from scrapy.spider
from scrapy.selector import HtmlXPathSelector
class MovieSpider(scrapy.spider):
name="movie"
# allowed_domains=["loldytt.com"]
start_urls=[
"http://www.loldytt.com/"
"http://www.loldytt.com/Xijudianying/"
]
def parse(self,response):
html=HtmlXpathSelector(response)
page=html.select('//ul/li')
for cc in page:
filename=cc.select('a/text()').extract
link=cc.select('a/@href').extract
print filename,link
修改后的文件内容:
from scrapy.spiders import Spider
from scrapy.selector import HtmlXPathSelector
class MovieSpider(Spider):
name="movie"
# allowed_domains=["loldytt.com"]
start_urls=[
"http://www.loldytt.com/"
"http://www.loldytt.com/Xijudianying/"
]
def parse(self,response):
html=HtmlXpathSelector(response)
page=html.select('//ul/li')
for cc in page:
filename=cc.select('a/text()').extract
link=cc.select('a/@href').extract
print filename,link
之后运行 就OK了:
相关文章推荐
- Sass 基础(七)
- 第五周 3.28 --- 4.3
- Java第三次作业
- iOS学习笔记--06 倒序遍历的方法
- 接sdk的时候,在主线程下运行的方法
- 【bzoj2768】【JLOI2010】【冠军调查】【最小割】
- aop
- android:clipToPadding和android:clipChildren
- 深入理解JavaScript系列(二): 原型、原型链与继承
- linux su和sudo命令的区别
- android 各种Span使用得当可以用Edittext做一个文本编辑器
- 解决高并发的常见策略
- 关于iscroll插件在移动端的应用滑动出现卡顿、不流畅问题
- Swift 2.2 的新特性
- 工作中的"注册"流程以及代码备份
- shader内置变量和函数(转)
- MyEclipse中使用Maven构建Web开发项目
- aidl学习笔记(一)
- Swift 2.2 的新特性
- JAVA-1-学习历程1:基础知识1