ES Java API_基于scroll实现月度销售数据批量下载
2018-02-21 20:49
573 查看
比如说,现在要下载大批量的数据,从es,放到excel中,月度,或者年度,销售记录,很多,比如几千条,几万条,几十万条
其实就要用到我们es scroll api,对大量数据批量的获取和处理
PUT /car_shop/sales/4
{
"brand": "宝马",
"name": "宝马320",
"price": 320000,
"produce_date": "2017-01-01",
"sale_price": 280000,
"sale_date": "2017-01-25"
}
就是要看宝马的销售记录
2条数据,做一个演示,每个批次下载一条宝马的销售记录,分2个批次给它下载完
package com.roncoo.es.senior;
import java.net.InetAddress;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
public class ScollDownloadSalesDataApp {
@SuppressWarnings({ "resource", "unchecked" })
public static void main(String[] args) throws Exception {
Settings settings = Settings.builder()
.put("cluster.name", "elasticsearch")
.build();
TransportClient client = new PreBuiltTransportClient(settings)
.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("localhost"), 9300));
SearchResponse searchResponse = client.prepareSearch("car_shop")
.setTypes("sales")
.setQuery(QueryBuilders.termQuery("brand.keyword", "宝马"))
.setScroll(new TimeValue(60000))
.setSize(1)
.get();
int batchCount = 0;
do {
for(SearchHit searchHit : searchResponse.getHits().getHits()) {
System.out.println("batch: " + ++batchCount);
System.out.println(searchHit.getSourceAsString());
// 每次查询一批数据,比如1000行,然后写入本地的一个excel文件中
// 如果说你一下子查询几十万条数据,不现实,jvm内存可能都会爆掉
}
searchResponse = client.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(new TimeValue(60000))
.execute()
.actionGet();
} while(searchResponse.getHits().getHits().length != 0);
client.close();
}
}
其实就要用到我们es scroll api,对大量数据批量的获取和处理
PUT /car_shop/sales/4
{
"brand": "宝马",
"name": "宝马320",
"price": 320000,
"produce_date": "2017-01-01",
"sale_price": 280000,
"sale_date": "2017-01-25"
}
就是要看宝马的销售记录
2条数据,做一个演示,每个批次下载一条宝马的销售记录,分2个批次给它下载完
package com.roncoo.es.senior;
import java.net.InetAddress;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
public class ScollDownloadSalesDataApp {
@SuppressWarnings({ "resource", "unchecked" })
public static void main(String[] args) throws Exception {
Settings settings = Settings.builder()
.put("cluster.name", "elasticsearch")
.build();
TransportClient client = new PreBuiltTransportClient(settings)
.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("localhost"), 9300));
SearchResponse searchResponse = client.prepareSearch("car_shop")
.setTypes("sales")
.setQuery(QueryBuilders.termQuery("brand.keyword", "宝马"))
.setScroll(new TimeValue(60000))
.setSize(1)
.get();
int batchCount = 0;
do {
for(SearchHit searchHit : searchResponse.getHits().getHits()) {
System.out.println("batch: " + ++batchCount);
System.out.println(searchHit.getSourceAsString());
// 每次查询一批数据,比如1000行,然后写入本地的一个excel文件中
// 如果说你一下子查询几十万条数据,不现实,jvm内存可能都会爆掉
}
searchResponse = client.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(new TimeValue(60000))
.execute()
.actionGet();
} while(searchResponse.getHits().getHits().length != 0);
client.close();
}
}
相关文章推荐
- ES Java API_基于bulk实现多4S店销售数据批量上传
- 基于java的zabbix api调用实现数据共享
- 基于Java实现批量下载网络图片
- 基于Java实现批量下载网络图片
- ES Java API_基于search template实现按品牌分页查询模板
- Zabbix实践(五):基于java的zabbix api调用实现数据共享
- 使用 Google App Engine 实现基于云计算的小型 Java 数据服务应用
- 数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文档分类器的JAVA实现(上)
- 用java实现excel数据批量导入数据库
- 数据算法基于FPGA的图像处理(七)--Verilog实现均值滤波Strut2教程-java教程
- 数据挖掘-基于Kmeans算法、MBSAS算法及DBSCAN算法的newsgroup18828文本聚类器的JAVA实现(下)
- 基于java数据采集串口通讯的设计和实现
- Java实现批量下载《神秘的程序员》漫画
- 用java实现从文本文件批量导入数据至数据库
- 基于 AXIS2/C 的 C 语言库实现对提供 REST API 的系统进行数据访问
- 基于GoogleMap,Mapabc,51ditu,VirtualEarth,YahooMap Api接口的Jquery插件的通用实现(含源代码下载) --转
- Java实现基于http协议的网络文件下载
- 基于GoogleMap,Mapabc,51ditu基于GoogleMap,Mapabc,51ditu,VirtualEarth,YahooMap Api接口的Jquery插件的通用实现(含源代码下载)
- java实现批量下载
- 字符串处理是许多程序中非常重要的一部分,它们可以用于文本显示,数据表示,查找键和很多目的.在Unix下,用户可以使用正则表达式的强健功能实现这些 目的,从Java1.4起,Java核心API就引入了java.util.regex程序包,它是一种有价值的基础