Scrapy之md5加密，多线程mysql写入，item分步处理。

导入itemloader加载器

1.默认的xpath()/css()这种数据的提取方式是将数据的提取和过滤放在一起，代码比较凌乱。

2.可以将数据处理的函数单独定义，实现代码的重用。

from scrapy.loader import Itemloader
# 参数1：实例化的item对象，表明itemloader对象解析的数据，最终保存到item对象的哪一个字段中；
# 参数2：网页源码
item_loader = ItemLoader(item=item文件中返回item的类(), response=response)

# 对item_loader赋值的方法有三种
# 1.item_loader.add_xpath('键','xpath表达式')
# 2.item_loader.add_css(参考例1)
# 3.item_loader.add_value('键','值')

# 将itemloader加载器中保存的每一个field数据，收集起来，复制给item对象的field字段。
item = item_loader.load_item()

# 将item对象返回
yield item

在items文件中对item对象中要保存的数据进行处理。

from scrapy.loader.processors import MapCompose, TakeFirst, Join

class JobbolespiderItem(scrapy.Item):
# 当通过add_xpath()获取到原始数据，通过ItemLoader对象将原始数据传给input_processor()函数进行数据的处理，并将结果保存在ItemLoader中。
# MapCompose()类似于map(函数，列表)，MapCompose会将List列表中的每一个元素分别作用于每一个处理函数。传进来的数据依次流过MapCompose()中的函数。
title = scrapy.Field(input_processor=MapCompose(函数1, lambda x:x+'----jobbole---'))
# 对应的还有output_processor=TakeFirst()数据在赋值给item之前进行处理。
# 由于处理过后返回的是列表。TakeFirst()获取列表中的第一个值。

# 如果想代码重用
# 定义类，继承于ItemLoader
class ArticleItemLoader(ItemLoader):
# 给ItemLoader对象指定一个默认的输出处理器
default_output_processor = TakeFirst()
# 在爬虫文件中将Itemloader换成ArticleItemLoader即可。

对于Url的保存

如果url比较长，可以考虑将url进行md5加密然后保存。

1.md5的长度是固定的，可以根据值进行去重

2.可以节省内存空间

import hashlib
def get_md5_by_url(url):
m = hashlib.md5()
m.update(url)
return m.hexdigest()

Mysql数据库的写入

# 数据库写入可以放在pipelines文件中。
import MySQLdb
# 图片的下载路径保存可以放在pipelines中
from scrapy.pipelines.images import ImagesPipeline
# 定义类继承于系统的图片下载类，对其进行内容扩充
class JobboleImagePipeline(ImagesPipeline):
def item_completed(self, results, item, info):
# 该方法会在图片经过管道下载成功之后，被调用。该函数会接收一些图片下载之后的相关信息。
#:param results: 元组列表，第一个元素success, 第二个元素file_info_and_error
#:param item: 爬虫类yield item对象
#:param info: 下载的信息
img_dict = results[0][1]
img_path = img_dict['path']
# 将img_path图片路径，保存到item对象的"img_path"属性中。
item['img_path'] = img_path
# 返回item对象，让后续的管道继续对item进行处理。
return item

1.正常写入

class MySQLPipeline(object):
def __init__(self):
# 初始化数据库对象
self.connect = MySQLdb.connect('localhost', 'root', '123456', 'article_db', charset='utf8')
self.cursor = self.connect.cursor()
def process_item(self, item, spider):
insert_sql = 'insert into jobbole (title, date_time, detail_url, url_object_id, img_src, img_path, ping_lun, shou_cang, dian_zan, tags, content) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'
self.cursor.execute(insert_sql, (item['title'], item['date_time'], item['detail_url'], item['url_object_id'], item['img_src'], item['img_path'], item['ping_lun'], item['shou_cang'], item['dian_zan'], item['tags'], item['content']))
self.connect.commit()

def closed_spider(self, spider):
self.cursor.close()
self.connect.close()

2.异步写入

数据库的异步写入操作。因为execute()及commit()提交数据库的方式是同步插入数据，一旦数据量比较大，scrapy的解析是异步多线程的方式，解析速度非常快，而数据库的写入速度比较慢，可能会导致item中的数据插入数据库不及时，造成数据库写入的阻塞，最终导致数据库卡死或者数据丢失。

class MySQLTwistedPipeline(object):
def __init__(self, dbpool):
# 初始化线程池对象，用于维护操作mysql写入操作的线程
self.dbpool = dbpool
# from_settings()函数是固定写法，该函数是用于读取settings.py配置信息的函数，第二个参数settings是一个字典。
# 可以先在setting文件中设置数据库连接的配置信息
# MYSQL_HOST = 'localhost'
# MYSQL_DBNAME = 'article_db'
# MYSQL_USER = 'root'
# MYSQL_PASSWORD = '123456'
# MYSQL_CHARSET = 'utf8'
@classmethod
def from_settings(cls, settings):
args = dict(
host=settings['MYSQL_HOST'],
db=settings['MYSQL_DBNAME'],
user=settings['MYSQL_USER'],
passwd=settings['MYSQL_PASSWORD'],
charset=settings['MYSQL_CHARSET'],
# 指定用用于创建cursor游标的类
cursorclass=MySQLdb.cursors.DictCursor,
)
# 创建一个线程池对象
# 参数1：用于连接MySQL数据库的驱动
# 参数2：数据库的链接信息（host, port, user等）
dbpool = adbapi.ConnectionPool("MySQLdb", **args)

return cls(dbpool)
def process_item(self, item, spider):
# 在线程池dbpool中通过调用runInteraction()函数，来实现异步插入数据的操作。runInteraction()会insert_sql交由线程池中的某一个线程执行具体的插入操作。
query = self.dbpool.runInteraction(self.insert, item)
# addErrorback()数据库异步写入失败时，会执行addErrorback()内部的函数调用。
query.addErrback(self.handler_error)

def handler_error(self, failure):
print u'数据库插入数据失败：',failure

def insert(self, cursor, item):
insert_sql = 'insert into jobbole (title, date_time, detail_url, url_object_id, img_src, img_path, ping_lun, shou_cang, dian_zan, tags, content) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'
cursor.execute(insert_sql, (item['title'], item['date_time'], item['detail_url'], item['url_object_id'], item['img_src'], item['img_path'], item['ping_lun'], item['shou_cang'], item['dian_zan'], item['tags'], item['content']))
# 不需要执行commit()的操作了，会在线程池中自动指定提交的操作。