Scrapy爬虫系列笔记之七:ItemLoader解决代码难以维护的噩梦_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。

2.4ItemLoader解决代码难以维护的噩梦

之前都是先通过选择器得到值，然后赋值，这样的后果就是代码很难维护而且丑

直接上itemloader

item_loader = ItemLoader(item=ArticleItem(),response=response)
item_loader.add_css("title",".title")
item_loader.add_xpath("field","div[@class='field_of_article']")
item_loader.add_value()

以上就是三种常见形式的使用，分别代表 (属性,规则)(属性,规则)（属性，值）

同时为了解决一些小问题，即数据的预处理

我们在item中进行修改：

这是之前的item

class ArticleItem(scrapy.Item):
title = scrapy.Field()
field = scrapy.Field()
time = scrapy.Field()
tag = scrapy.Field()

进行修改：这样就实现了预处理以及滞后处理

class ArticleItem(scrapy.Item):
title = scrapy.Field(
input_processor = TakeFirst()
)
field = scrapy.Field(
input_processor = MyFunction()
output_processor=TakeFirst()
)
time = scrapy.Field()
tag = scrapy.Field()

def MyFunction():
#自己写的预处理逻辑代码,可以被field中调用
XXXXXXXXXX
XXXXXXXXXX

笔记一到十链接

http://blog.csdn.net/sx_csu2016sw/article/details/79284369

http://blog.csdn.net/sx_csu2016sw/article/details/79284427

http://blog.csdn.net/sx_csu2016sw/article/details/79284449

http://blog.csdn.net/sx_csu2016sw/article/details/79284469

http://blog.csdn.net/sx_csu2016sw/article/details/79284481

http://blog.csdn.net/sx_csu2016sw/article/details/79284491

http://blog.csdn.net/sx_csu2016sw/article/details/79284509

http://blog.csdn.net/sx_csu2016sw/article/details/79284525

http://blog.csdn.net/sx_csu2016sw/article/details/79284547

http://blog.csdn.net/sx_csu2016sw/article/details/79284567