scrapy遇到的坑
2017-07-28 17:47
39 查看
记录一下今天用scrapy遇到的坑,本来在本机上测试是可以正常运行的,
![](https://img-blog.csdn.net/20170728175159447?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFubWFucGE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
而发布到linux测试环境,居然没有爬取到任何结果,运行结果如下图,
![](https://img-blog.csdn.net/20170728175147034?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFubWFucGE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
以前并没有遇到这种情况,如果有报错至少有个大概的解决方向,没报错让人感到无从下手,后来想到,这个爬虫和之前的不同之处是使用了xpath,想到这个我赶紧查看了下安装包,果然,服务器和本机是不同的,于是我将两个版本统一,然而,问题还是没有解决,,
之后我想,是不是因为Linux的系统与windows的不一致导致没有解析到数据,然后我单独将解析代码单独拿出来测试,果然,没有解析到任何数据,终于找到了突破口,后面的事情就好办了,通过抽丝剥茧,终于找到了问题,如图
![](https://img-blog.csdn.net/20170728175246046?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFubWFucGE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
就是这几行代码导致,本来是通过"\n"切割数据,没想到同样的代码,居然因为运行环境的不同,运行结果不同,测试如下
![](https://img-blog.csdn.net/20170728175304610?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFubWFucGE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
![](https://img-blog.csdn.net/20170728175340828?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFubWFucGE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
很明显,linux自动忽略了第一个空格,实在想不明白居然会有这样的问题,不过,这样让我更加加深了对linux,和windows系统的区别
而发布到linux测试环境,居然没有爬取到任何结果,运行结果如下图,
以前并没有遇到这种情况,如果有报错至少有个大概的解决方向,没报错让人感到无从下手,后来想到,这个爬虫和之前的不同之处是使用了xpath,想到这个我赶紧查看了下安装包,果然,服务器和本机是不同的,于是我将两个版本统一,然而,问题还是没有解决,,
之后我想,是不是因为Linux的系统与windows的不一致导致没有解析到数据,然后我单独将解析代码单独拿出来测试,果然,没有解析到任何数据,终于找到了突破口,后面的事情就好办了,通过抽丝剥茧,终于找到了问题,如图
就是这几行代码导致,本来是通过"\n"切割数据,没想到同样的代码,居然因为运行环境的不同,运行结果不同,测试如下
很明显,linux自动忽略了第一个空格,实在想不明白居然会有这样的问题,不过,这样让我更加加深了对linux,和windows系统的区别
相关文章推荐
- 安装Scrapy过程中遇到的问题
- Scrapy遇到的坑
- 使用HtmlAgilityPack和ScrapySharp抓取网页数据遇到的几个问题解决方法——格式编码问题
- Ubuntu下安装scrapy遇到的问题及解决过程
- scrapy配置过程遇到的问题以及解决--002
- windows10安装Scrapy遇到的问题
- CentOS6.2下面安装使用Scrapy遇到的一些错误
- 用Scrapy开发项目时遇到的问题
- 安装scrapy遇到问题
- Scrapy安装过程中遇到的问题及解决方法
- Scrapy爬取遇到的一点点问题
- scrapy遇到的常见错误-Unknown command: crawl
- MAC使用Scrapy遇到的坑
- scrapy 爬虫遇到的坑
- 学习爬虫Scrapy遇到的错误
- Fedora 24 安装 Scrapy 中遇到的坑
- 『Scrapy』登录人人贷并抓取借贷人信息中遇到的坑
- 安装scrapy时遇到的一个错误
- 运行拷贝的scrapy项目遇到的两个问题的解答
- 『Scrapy』日常工作和学习中所遇到的坑及解决办法——长期更新