python批量导入数据进Elasticsearch的实例
2018-05-30 10:43
3771 查看
ES在之前的博客已有介绍,提供很多接口,本文介绍如何使用python批量导入。ES官网上有较多说明文档,仔细研究并结合搜索引擎应该不难使用。
先给代码
#coding=utf-8 from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch import helpers es = Elasticsearch() actions = [] f=open('index.txt') i=1 for line in f: line = line.strip().split(' ') action={ "_index":"image", "_type":"imagetable", "_id":i, "_source":{ u"图片名":line[0].decode('utf8'), u"来源":line[1].decode('utf8'), u"权威性":line[2].decode('utf8'), u"大小":line[3].decode('utf8'), u"质量":line[4].decode('utf8'), u"类别":line[5].decode('utf8'), u"型号":line[6].decode('utf8'), u"国别":line[7].decode('utf8'), u"采集人":line[8].decode('utf8'), u"所属部门":line[9].decode('utf8'), u"关键词":line[10].decode('utf8'), u"访问权限":line[11].decode('utf8') } } i+=1 actions.append(action) if(len(actions)==500): helpers.bulk(es, actions) del actions[0:len(actions)] if (len(actions) > 0): helpers.bulk(es, actions)
每句话的含义还是很明显的,这里需要说几点,首先是index.txt是以utf8编码的,所以需要decode('utf8')转换成unicode对象,并且“图片名”前需要加u,否则ES会报错
导入的速度还是很快的,2000多条记录每秒。
以上这篇python批量导入数据进Elasticsearch的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- 使用python,批量导入数据到elasticsearch中
- 上传文件实现数据采集以及批量导入数据库实例
- Python批量导入文本数据到数据库的方法
- python Django批量导入数据
- python Django批量导入不重复数据
- 2-Elasticsearch集群数据批量导入
- ElasticSearch中批量导入数据: _bulk命令
- Elasticsearch 批量导入数据
- python Django批量导入不重复数据
- python 批量修改/替换数据的实例
- Elasticsearch —— bulk批量导入数据
- python Django批量导入数据
- elasticsearch 批量导入数据
- 使用python向Redis批量导入数据
- 【python】如何批量读取文件夹的所有文件数据,os模块与open函数结合使用实例
- 文本数据批量导入导出数据库功能~~急~~
- elasticsearch 导入基础数据并索引之 geo_point
- Python测试用例生成脚本(合并相应单元格以及写入单行数据)代码实例
- 批量往数据库导入数据遇到的问题总结
- Java操作Excel(三)将Excel中的数据批量的导入数据库