基于Python操作ElasticSearch
2017-12-23 20:31
477 查看
环境依赖:
Python:2.7ES依赖包:pyelasticsearch
ElasticSearch:5.5.1 / 6.0.1
操作系统:Windows 10 / CentOS 7
本文主要就ES基本的CRUD操作做以归纳整理,ES官方对Python的依赖支持有很多,eg:pyelasticsearch、ESClient、elasticutils、pyes、rawes、Surfiki Refine等。博主在工作中只涉及到了pyelasticsearch,所以本文主要就该依赖做说明,其他的依赖包可详见官网。
pyelasticsearch依赖包的安装命令:pip install elasticsearch
pyelasticsearch依赖所提供的接口不是很多,下面主要从单一操作和批量操作两大类做以讨论和分析。
单一操作
插入create:必须指定待查询的idnex、type、id和查询体body;缺一不可,否则报错
index:相比于create,index的用法就相对灵活很多;id并非是一个必选项,如果指定,则该文档的id就是指定值,若不指定,则系统会自动生成一个全局唯一的id赋给该文档。
eg:
body = {"name": 'lucy', 'sex': 'female', 'age': 10} es = Elasticsearch(['localhost:9200']) es.index(index='indexName', doc_type='typeName', body, id=None)
删除
delete:删除指定index、type、id的文档
es.delete(index='indexName', doc_type='typeName', id='idValue')
查找
get:获取指定index、type、id所对应的文档
es.get(index='indexName', doc_type='typeName', id='idValue')
更新
update:跟新指定index、type、id所对应的文档
es.update(index='indexName', doc_type='typeName', id='idValue', body={待更新字段})
批量操作
条件查询search:查询满足条件的所有文档,没有id属性,且index,type和body均可为None。
body的语法格式必须符合DSL(Domain Specific Language )格式
query = {'query': {'match_all': {}}}# 查找所有文档 query = {'query': {'term': {'name': 'jack'}}}# 查找名字叫做jack的所有文档 query = {'query': {'range': {'age': {'gt': 11}}}}# 查找年龄大于11的所有文档 allDoc = es.search(index='indexName', doc_type='typeName', body=query) print allDoc['hits']['hits'][0]# 返回第一个文档的内容
条件删除
delete_by_query:删除满足条件的所有数据,查询条件必须符合DLS格式
query = {'query': {'match': {'sex': 'famale'}}}# 删除性别为女性的所有文档 query = {'query': {'range': {'age': {'lt': 11}}}}# 删除年龄小于11的所有文档 es.delete_by_query(index='indexName', body=query, doc_type='typeName')
条件更新
update_by_query:更新满足条件的所有数据,写法同上删除和查询
批量插入、删除、更新
bulk:在这重点和大家聊聊bulk方法,前面的所有方法都很简单,唯独这个bulk在笔者开始接触的时候,花费了不少时间;这个方法可以同时执行多个操作,单只请求一次,从而在批量操作的时候,可以很大程度上减少程序系统开销。此外,bulk不仅可以一次性批量执行插入、或者删除操作,还可以在一次请求中,既可以插入、又可以删除和更新操作。
但是需要注意的是,任何一种操作都有固定的文档格式,只有完全符合该格式要求,才可执行成功。废话不多说,直接上代码:
doc = [ {"index": {}}, {'name': 'jackaaa', 'age': 2000, 'sex': 'female', 'address': u'北京'}, {"index": {}}, {'name': 'jackbbb', 'age': 3000, 'sex': 'male', 'address': u'上海'}, {"index": {}}, {'name': 'jackccc', 'age': 4000, 'sex': 'female', 'address': u'广州'}, {"index": {}}, {'name': 'jackddd', 'age': 1000, 'sex': 'male', 'address': u'深圳'}, ] doc = [ {'index': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}} {'name': 'jack', 'sex': 'male', 'age': 10 } {'delete': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}} {"create": {'_index' : 'indexName', "_type" : 'typeName', '_id': 'idValue'}} {'name': 'lucy', 'sex': 'female', 'age': 20 } {'update': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}} {'doc': {'age': '100'}} ] es.bulk(index='indexName', doc_type='typeName', body=doc)
通过上面两个例子可以看出,在用bulk在批量操作的时候,对于不同的操作类型,一定要与之对应一个操作头信息(eg:{“index”: {}}, {‘delete’: {…}}, …),否则会报TransportError(400, u’illegal_argument_exception’)的错误。
说到这里,在实际过程中,很多时候就会在此处要专门去批凑这样的一个字典数组。假设有如下场景:
如果要批量插入一批数据,如上述第一个例子,则在现有数据集的基础上,很容易想到一个解决方法:通过list的奇偶合并的方法快速实现所需要的字典数组。在这推荐一种Python的技巧:[::2]和[1::2]来实现奇偶合并。具体可详见我的博客:Python编程技巧。
本文的完整例子可详见我的GitHub
相关文章推荐
- 扩展:基于Python操作ElasticSearch
- 基于Python的操作浏览器
- Python基于FTP模块实现ftp文件上传操作示例
- Appium+XCUITest基于Python的操作实例以及环境搭建
- 基于Python3的列表常规操作
- 实时数据之python操作elasticsearch监控数据插入图表分析
- python 操作 postgreSQL 数据库 Demo ( 基于PyGreSQL 包)
- Python Elasticsearch API操作ES集群
- 基于 Python 的数据结构与算法分析学习记录(6-9)—— 二叉堆操作
- 基于 Python 的数据结构与算法分析学习记录(6-11)—— 二叉查找树与操作
- 基于python:opencv简单图片操作
- 【Python】基于fabric模块批量远程主机操作
- 第三百六十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)基本的索引和文档CRUD操作、增、删、改、查
- Python操作Elasticsearch
- Python 操作 ElasticSearch
- Appium+XCUITest基于Python的操作实例以及环境搭建
- Python基于property实现类的特性操作示例
- 基于python和mysql的查询操作
- python操作Elasticsearch