在scrapy中使用django model来存储数据

在scrapy中使用pipeline可以将抓取到的数据存储于数据库或者文件中，但在实际操作过程中，如果不采用第三方orm库，需要自己构造sql语句，进行数据库操作，如果操作数据库的字段较多时，容易出现错误，并且为重复的体力劳动。于是，考虑使用python比较成熟的第三方orm库，将便于数据入库的操作。由于笔者之前使用过django来搭建web站点，对django的model印象深刻，只需要将数据存储于对象中，而该对象对应了数据库中表，只需要调用简单命令save等，就可以将数据入库。因此，考虑使用django中的model来存储数据。

目前，我还没有找到将model模块直接从django中剥离的办法，只能采取比较笨重的方法（参考：http://doc.scrapy.org/en/0.24/topics/djangoitem.html），即新建一个django项目，然后用scrapy去调用其中已经设置好的model模块，实现数据的存储。若有更好的方法，希望告知。

首先就是安装scrapy和django，由于涉及到很多第三方库，此处可以参考官网文档，此处的版本为scrapy：0.24.5，django：1.7.7
http://doc.scrapy.org/en/0.24/intro/install.html
https://www.djangoproject.com/download/

安装完毕后，分别新建django项目和scrapy项目，并且在django新项目下创建app silo分别命名如下，
$ scrapy startproject demo
$ django-admin.py startproject demosite
$ cd demosite/
$ python manage.py startapp silo
$ cd ../..
$ tree

.

└── django-scrapy

    ├── demo

    │   ├── demo

    │   │   ├── __init__.py

    │   │   ├── items.py

    │   │   ├── pipelines.py

    │   │   ├── settings.py

    │   │   └── spiders

    │   │       └── __init__.py

    │   └── scrapy.cfg

    └── demosite

        ├── demosite

        │   ├── __init__.py

        │   ├── __init__.pyc

        │   ├── settings.py

        │   ├── settings.pyc

        │   ├── urls.py

        │   └── wsgi.py

        ├── manage.py

        └── silo

            ├── admin.py

            ├── __init__.py

            ├── migrations

            │   └── __init__.py

            ├── models.py

            ├── tests.py

            └── views.py

首先，需要在django项目demosite的目录下配置model，在创建好的silo app中添加与数据库相互映射的类,

./django-scrapy/demosite/silo/models.py
from django.db import models

class Demo_data(models.Model):

    iAutoId         = models.AutoField(primary_key=True, default=None)

    title           = models.CharField(max_length=256, default=None)
...

然后在demotie的setting文件中配置数据库以及app信息，

./django-scrapy/demosite/demosite
# 数据库信息
DATABASES = {

    'default': {

        'ENGINE': 'django.db.backends.mysql',  # 使用mysql进行数据存储

        'NAME': 'demo_db',

        'USER': 'admin',

        'PASSWORD': 'admin',

        'HOST': '192168.0.100',

        'PORT': '3306'

    }

}

INSTALLED_APPS = (

    'django.contrib.admin',

    'django.contrib.auth',

    'django.contrib.contenttypes',

    'django.contrib.sessions',

    'django.contrib.messages',

    'django.contrib.staticfiles',

    'silo',     # 加入使用的app

)

然后返回demosite的根目录 ./django-scrapy/demosite/，运行命令创建model以及数据库映射
$ python manage.py makemigrations
$ python manage.py migrate
注：如果需要重新创建表，在数据中直接删除表，会造成django项目的出错，可以按照下面步骤操作（http://stackoverflow.com/questions/27583744/django-table-doesnt-exist）
1. 删除数据库中表
2. 在models.py中注释对应的class
3. 在django项目根目录下运行命令 
$ python manage.py makemigrations
$ python manage.py migrate --fake
4. 将models.py中的类取消注释
5. 在django项目根目录下运行命令
$ python manage.py makemigrations
$ python manage.py migrate
此时，可以看到，数据库中将会创建一张全新的表

紧接着，需要在scrapy项目中进行配置，并且将django中创建的model导入其中。在./django-scrapy/demo/demo中的settings.py中进行下面配置

./django-scrapy/demo/demo/settings.py
import sys

sys.path.append('../../demosite')

import os

os.environ['DJANGO_SETTINGS_MODULE'] = 'demosite.settings'

然后在./django-scrapy/demo/demo/items.py中定义item，

./django-scrapy/demo/demo/items.py
from scrapy.contrib.djangoitem import DjangoItem

from silo.models import Demo_data

class DemoItem(DjangoItem):

    django_model =Demo_data

最后就可以在pipeline中进行数据的存储，大功告成，比起之前繁琐的sql语句，此处只需要一句save就解决问题。

./django-scrapy/demo/demo/pipelines.py
class DemoPipeline(object):

    def process_item(self, item, spider):

        item.save()

        return item

当然，该处还可以进行更深的挖掘，希望大家拍砖。