python scrapy window linux 坑
2015-12-07 01:04
567 查看
想写个爬虫,看大家用的最多的是 python 库 scrapy,结果环境啊各种问题搞得真是麻烦。。。
linux 下注意:
scrapy 安装需要 Python 2.7 以上,但是 centos6 提供的是 Python2.6,而且因为系统各种工具包括 yum 都基于Python2.6,所以不能简单的升级。
网上教程表示可以源码安装并修改软链到 2.7,然后将系统其它工具如 yum 等的解析脚本由 python 修改为带具体版本号的 python 2.6
我觉得这样不太好,因为影响到的工具太多,不希望每个工具都这样修改。
。。。。。
所以我换到 windows 下了。(额)
windows 下注意:
scrapy 要调用 win api,所以需要安装 pywin。
python 是分64版本和32版本的。如果安装的时候是 64 位的,pywin32 安装时就表示找不到 python27,原因是安装64位 python 时候注册表没有注册 win32 版本。
网上有说可以将注册项拷贝到 win32 相应注册表下,我觉得这样也不太好。
所以就把 python 和 pywin 改为位数一致,我统一改成了 32 位。
然后装了 intellij 的 python 插件,pycharm,发现 import 不能正常识别,哈,其实 file -> project structure 把 python sdk 加上就好了。
然后 scrapy 终于可以正常 crawl 了。
linux 下注意:
scrapy 安装需要 Python 2.7 以上,但是 centos6 提供的是 Python2.6,而且因为系统各种工具包括 yum 都基于Python2.6,所以不能简单的升级。
网上教程表示可以源码安装并修改软链到 2.7,然后将系统其它工具如 yum 等的解析脚本由 python 修改为带具体版本号的 python 2.6
我觉得这样不太好,因为影响到的工具太多,不希望每个工具都这样修改。
。。。。。
所以我换到 windows 下了。(额)
windows 下注意:
scrapy 要调用 win api,所以需要安装 pywin。
python 是分64版本和32版本的。如果安装的时候是 64 位的,pywin32 安装时就表示找不到 python27,原因是安装64位 python 时候注册表没有注册 win32 版本。
网上有说可以将注册项拷贝到 win32 相应注册表下,我觉得这样也不太好。
所以就把 python 和 pywin 改为位数一致,我统一改成了 32 位。
然后装了 intellij 的 python 插件,pycharm,发现 import 不能正常识别,哈,其实 file -> project structure 把 python sdk 加上就好了。
然后 scrapy 终于可以正常 crawl 了。
相关文章推荐
- centos安装mysql5.7
- Linux下Python3.4.3安装
- 在Ubuntu中删除旧的内核linux kernel
- 在Ubuntu中安装或升级内核 linux kernel
- linux中的trap命令 | set
- Linux操作系统定时任务系统 Cron 入门
- 如何给Linux (Fedora Ubuntu等)安装字体
- linux下一些实用服务器的搭建
- linux下驱动自动对焦学习总结
- 第二十四天-linux系统磁盘管理知识进阶
- linux sysctl.conf中相关重要设定的详细说明
- v8插件编译使用
- 最近学习linux-c的编程
- Linux ->> uname命令 -- 查看当前系统信息
- Android 5.x 6.x system.new.dat解包工具及方法[Windows\Linux]
- linux中的日志服务syslogd|klogd学习
- 在win10+Linux Ubuntu双系统下安装win xp三系统的痛苦经历
- 【Unix/Linux编程实践】文件系统:编写pwd
- linux中ctrl+z和ctrl+c的区别
- Analysis of Linux kernel crashes