您的位置:首页 > 其它

scrapy遇到的坑

2017-07-28 17:47 39 查看
记录一下今天用scrapy遇到的坑,本来在本机上测试是可以正常运行的,



而发布到linux测试环境,居然没有爬取到任何结果,运行结果如下图,

 


以前并没有遇到这种情况,如果有报错至少有个大概的解决方向,没报错让人感到无从下手,后来想到,这个爬虫和之前的不同之处是使用了xpath,想到这个我赶紧查看了下安装包,果然,服务器和本机是不同的,于是我将两个版本统一,然而,问题还是没有解决,,

 之后我想,是不是因为Linux的系统与windows的不一致导致没有解析到数据,然后我单独将解析代码单独拿出来测试,果然,没有解析到任何数据,终于找到了突破口,后面的事情就好办了,通过抽丝剥茧,终于找到了问题,如图



就是这几行代码导致,本来是通过"\n"切割数据,没想到同样的代码,居然因为运行环境的不同,运行结果不同,测试如下





很明显,linux自动忽略了第一个空格,实在想不明白居然会有这样的问题,不过,这样让我更加加深了对linux,和windows系统的区别
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  scrapy