python 向 ElaticScrapy中批量插入数据
2017-05-25 14:49
686 查看
python 向 ElaticScrapy中批量插入数据:
class ElaticSearchPipeline(object): def process_item(self, item, spider): es = Elasticsearch([{'host': '10.***.**.***', 'port': 9200}]) print item data = { "add_time" : item["add_time"], # "author" : item["author"], "content" : item["content"], "site_name" : item["site_name"], "title" : item["title"], "url" : item["url"], "publish_time" : item["publish_time"] } global a a = a+ 1 res = es.index(index="test-index", doc_type='test', id= a, body=data) print(res['created'])
相关文章推荐
- python消费kafka数据批量插入到es
- Python向Sqlite批量插入数据,测试硬盘性能
- Python 数据批量插入 MySQL
- python脚本批量生成50000条插入数据的sql语句
- python 批量数据插入数据库 遇到(TypeError: expecting numeric data)
- 用python操作mysql数据库(之批量插入数据)
- python 使用 mysqldb 批量插入数据
- SQL 批量插入数据
- oracle 使用游标批量分段插入数据
- ASP.NET中,向数据库批量插入数据
- 用SQL存储过程实现批量插入数据
- 批量插入数据的存储过程
- 如何在Oracle中批量插入数据
- 利用序列插入批量数据
- asp实现批量插入表单中的数据到数据库的方法
- asp实现批量插入表单中的数据到数据库的方法
- 在ASP.NET中,向数据库批量插入数据
- 在ASP.NET中,向数据库批量插入数据
- 在ASP.NET中,向数据库批量插入数据
- asp下实现批量插入数据的方法