安装python3+pip3+scrapy+redis导出数据
如果删除了系统上自带的python, 这里我把一个python文件删除了.
这里只需要设置一个软连接就好了
[code]bin] ln -s /usr/bin/python2.6 /usr/bin/python
Linux会自带一个Python2的版本, 我的服务器自带的是Python2.6.6的版本,这并不影响再次安装一个新的版本.
我使用的是wget网络传输方式下载的Python安装包.下面是安装过程:
安装包的解压路径在 /opt/local
安装包的路径在 /opt/local/installpackage
1.下载
[code]installpackage]# wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz
2.解压
[code]local]# tar -zxf installpackage/Python-3.6.4.tgz local]# cd Python-3.6.4.tgz Python-3.6.4.tgz]# ll
3.配置
[code]Python-3.6.4.tgz]# ./configure --prefix=/usr/bin/python3.6.4
系统默认的python路径就在/usr/bin目录下面, 可以看到python. python2 -> python, python2.6 几个关于python的东西
4.安装
[code]Python-3.6.4.tgz]# make Python-3.6.4.tgz]# make install
安装完成之后可以跳到安装目录下面看看
[code]cd /usr/bin/python3.6.4
下面有bin lib 等几个目录, 到bin目录下可以看到一个python3 的二进制编码文件, 之后会用到
5.配置软连接(python2 -> python 就是软连接, 我们也需要配制成这样)
[code]Python-3.6.4.tgz]# ln -s /usr/bin/python3.6.4/bin/python3 /usr/bin/python3
/usr/bin/python3.6.4/bin/python3这个是你安装的python所在的路径, 安装路径在第三步骤
python3查看是否安装成功
6.配置pip
跳转到
cd /usr/bin/python3.6.4/bin下
[code] bin]# ls 2to3 2to3-3.6 easy_install-3.6 idle3 idle3.6 pip3 pip3.6 pydoc3 pydoc3.6 python3 python3.6 python3.6-config python3.6m python3.6m-config python3-config pyvenv pyvenv-3.6
可以看到里面有pip3.和pip3.6,
设置pip3的软连接
[code]bin]# cp pip3 /usr/bin bin]# cp pip3.6 /usr/bin
pip3查看pip是否配置成功
------------------------------------------------------------------------------------------------------------------------------------------------------------------
接下来安装scrapy
pip3 install scrapy
安装完成后,用import scrapy查看是否安装完成
最后创建软连接
ln -s /usr/bin/python3.6.4/bin/scrapy /usr/bin/scrapy
没有创建的话会报错-bash: scrapy: command not found
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
进网站https://github.com/sripathikrishnan/redis-rdb-tools#generate-memory-report
安装和使用方法文档上写了,如果安装完成找不到rdb命令的话,直接在安装目录下执行也可以:
[code]pip install rdbtools python-lzf
[code]rdb -c memory /usr/local/dump.rdb > result.csv
database | type | key | size_in_bytes | encoding | num_elements | len_largest_element |
---|---|---|---|---|---|---|
0 | string | "cccc" | 98 | string | 4 | 4 |
0 | string | "bbb" | 96 | string | 3 | 3 |
0 | hash | "user" | 102 | ziplist | 1 | 6 |
0 | string | "aa" | 94 | string | 2 | 2 |
结果列中的sizeinbytes就是你要的大小,导出后自己排下序就可以了。另外,注意修改你自己dump.rdb的文件路径。对于数据量太大的情况我没测试过,分析估计会比较慢。
阅读更多- python2.7 之centos7 安装 pip, Scrapy
- pip安装scrapy报错 ReadTimeoutError: HTTPSConnectionPool(host='pypi.python.org, port=443) Read time out
- 【python】Centos安装 python的 pip Selenium lxml request feedparser Beautifulsoup3、Beautifulsoup4、Scrapy
- Macos解决安装pip,python,scrapy,项目安装的若干问题方法
- window python3 安装pip和scrapy,lxml 过程和出错解决
- python3.5使用pip安装scrapy时unable to find vcvarsall.bat异常处理
- Python3 安装 pip3 以及 scrapy、numpy、itchat
- Scrapy:Python3版本上安装数据挖掘必备的scrapy框架详细攻略(二最完整爬取网页内容信息攻略)——Jason niu
- Linux-Ubuntu16.04下Python3.5安装pip3以及scrapy、numpy、itchat
- (linux)python之setuptools、easyinstall、pip安装及连接redis
- PIP安装Python的scipy,scrapy等包出现“failed building wheel for xxx”问题解决办法
- python scrapy对抓取数据后的存储 sqilte3的安装
- 【Python】pip安装scrapy、mysqlclient出错的解决方法
- 用pip安装Python的numpy、scipy等数据分析类扩展库
- python使用pip安装scrapy失败可能原因
- Python下pip安装scrapy
- PIP安装Python的scipy,scrapy等包出现“failed building wheel for xxx”问题解决办法
- PIP安装Python的scipy,scrapy等包出现“failed building wheel for xxx”问题解决办法
- python pip 导出安装包
- linux下安装python、scrapy、redis、mysql