福利: 安卓上运行Python爬虫

1. 安装Termux

在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿.

为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了

参考自 安卓手机运行python程序的软件：Termux

注: py是因为用了别名 alias py=’python’

2. 安装环境

2.1 安装Python

pkg update
pkg upgrade
apt update
apt upgrade
apt install python
pip install bs4  requests

2.2 安装lxml

apt install clang
apt install libxml2 libxml2-dev libxslt libxslt-dev
pip install lxml

下载对应脚本

apt install git
git clone https://github.com/Kuangcp/PythonLearn.git cd PythonLearn/learning/Spider/scrpy_learn/55156

配置好一个用来存URL的redis数据库

可以是自己远程服务器上

也可以是本地

apt install redis

执行

redis-server

即可开启服务

运行这两个脚本前先确定redis以及下载目录配置正确, 只有这两个是需要配置的

然后就可以直接

py simple.py

或者先

py simple.py -h

先看一下参数说明

就会提示 起始爬取的URL, 例如

http://www.55156.com/gaoqingtaotu/xiuren/204409_22.html

就开始爬取URL了

打开 同目录下 的 download.py 配置好下载目录 然后

py download.py

, 或者直接

py download.py `pwd`

就在脚本旁的目录下不停的下载图片了

为了使用方便, 建议配置别名

vi ~/.bashrc

alias py='python'
alias img='py simple_path ' # 替换为simple绝对路径
alias down='py download_path' # 替换为down绝对路径

或者

cd 到脚本所在目录然后:
echo "alias img='python `pwd`/simple.py' " >> ~/.bashrc
echo "alias down='python `pwd`/download.py `pwd` '" >> ~/.bashrc

以后就只要启动termux 然后 img 下载图片url down 下载图片了

又发现一个问题, 因为这个软件的数据是在/data/data/目录下, 而这个目录访问是要 root的, 所以上诉脚本生成别名后, 手动修改为安卓可访问的目录即可

我的手机是 /storge/emulate/0/ 就是存储的根目录