Scrapy 与 Django 交互

总结一下 Scrapy 与 Django 交互需要注意的问题

首先是 Django 这部分的操作

常规创建项目,创建子应用,在setting.py注册子应用(爬虫部分无需注册)…

然后是 Scrapy 部分的代码

scrapy 框架所在的文件夹,与子应用并列

• 爬虫文件正常写

• items.py

  from scrapy_djangoitem import DjangoItem
  from app01 import models  # 导入表
  
  class NameItem(DjangoItem):
  django_model = models.Name   # 改一下，表名

注意类的继承 并且,这个django_model变量名,不能自定义

• pipeline.py

  class NamePipeline(object):
  def process_item(self, item, spider):
  item.save()
  return item

• 部分 settings.py

  import os
  import sys
  sys.path.append(os.path.dirname(os.path.abspath('.')))
  os.environ['DJANGO_SETTINGS_MODULE'] = 'Pro_Name.settings'   # 导入项目下的settings.py
  # 手动初始化Django：
  import django
  django.setup()

代码部分的差别就基本总结完了

命令行语句

• 无需进入spider目录,直接在scrapy框架的根目录输入命令
  

• 点赞 1
• 收藏
• 分享
• 文章举报