您的位置：首页 > 编程语言 > Python开发

python 实现汽车之家车型数据爬虫推荐

2016-07-08 14:35 881 查看

爬虫保存数据库的样子:

详细数据在json_text字段里面
安装使用方法：

git clone https://github.com/shancang/spider.git pip install -r requirements.txt
mysql spider< sql/createTable.sql

修改配置
spider/config.py

# -*- coding: utf-8
#日志----------------------------------------
#日志目录
LOG_DIR= "/tmp/spider"
#日志级别：debug,info,warning,error,critical
LOG_LEVEL = "info"
#process-----------------------------------
#pid 文件
PID_FILE = "/tmp/spider/spider.pid"
#线程数量
THARED_NUMBER = 6
#数据库------------------------------------
DB_USER = "spider"
PASSWORD = "123456"
DB_HOST = "localhost"
PORT = "3306"
DB_NAME = "spider"

进程管理

python setup.py start #启动
python setup.py stop  #停止
python setup.py status # 查看运行状态

具体详细请移步
https://github.com/shancang/spider
代码仅供学习交流，不得做商业使用，不得恶意使用，造成后果请自行负责。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： 爬虫 python

相关文章推荐

新的分享

章节导航

python 实现汽车之家车型数据爬虫 推荐

python 实现汽车之家车型数据爬虫推荐