您的位置:首页 > 编程语言 > Python开发

python 向 ElaticScrapy中批量插入数据

2017-05-25 14:49 686 查看
python 向 ElaticScrapy中批量插入数据:

class  ElaticSearchPipeline(object):

def process_item(self, item, spider):
es = Elasticsearch([{'host': '10.***.**.***', 'port': 9200}])

print item
data = {
"add_time" : item["add_time"],
# "author" : item["author"],
"content" : item["content"],
"site_name" : item["site_name"],
"title" : item["title"],
"url" : item["url"],
"publish_time" : item["publish_time"]
}

global a
a = a+ 1
res = es.index(index="test-index", doc_type='test', id= a, body=data)

print(res['created'])
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: