关于多数据库的数据汇总时的各种思路

如果不存在多库数据排序的情况下，只要将多库的数据整合到一起分页即可。做这种需求的时候先后想了以下的解决方案。下面均以A,B两个库举例。

1）把A,B库的数据全部取出来放到内存，用内存进行分页。这个想法简单粗暴，要是查询的数据量少的话，这样做也简单，一旦数据量大的话，很显然，OutOfMemory内存吃不消。这种思路的话对于数据量小的多库来说应该是好的。

2）奈何项目数据量大，那总要想着怎么尽量少的往内存里放数据而不导致内存溢出：

假如每页为10条数据（row=10)，那么查询第一页的数据的时候是分别从A,B两个库 select limit

0,10，将取出来的20条放到内存截取前10条返回给页面。 第二页的时候则select limit

0,20，将取出来的40条放到内存截取返回给页面。以此类推

这个分页的策略其实是和第一个的存内存分页一样的，都是放到内存做切分，只是查询前面几页的时候，查询的数据量会少很多，放进内存的数量也会少，实际使用时，越后面命中率越低，但越到后面也就越接近第一种做法。整体来说，比第一张稍微好点。

3）怎么样能让多库中取的每页数据更精确呢。每次取的时候尽量取所需要的数量。 已A库为起点，page

为当前页码，row为每页行数，先判断B库是否有数据

if(total>0){
//二库有值时取toal计算整体的总数
total = total_a + total_b;
//当一库的total大于等于当前页的数量时，只走一库分页
if(total_b >= (page * row) ) {
return getPage(row_a);
}
//当当前页请求数量超出一库total的时候，开始从二库取
else {
//如果临界页的数据数量刚好等于一库的total，即一库的total刚好被整除分页，那么记录一库走了几页，剩下的在二库中加上偏移页数，全部走二库分页
if(total_a % row == 0){
int x = total_a / row + 1;
Page.setPage(page - x);
Page.setRows(row);
row_b = B.get(Page);
return getPage(row_b);
}
//如果临界页存在一库和二库的merge数据
else {
//如果当前页码刚好在临界页，那从二库的第一页开始取，并和一库的数据merge取，截取对应的row行返回
if (total_a< (page * row) && total_a > ((page - 1) * row)) {
row_a.addAll(row_b);//row_b为第一页前10条，在返回时截掉
return getPage(row_a.subList(0, row_a.size() > row ? row : rows.size()));
}
//如果当前页码超过了临界页，开始全走二库
else {
//记录偏移页码
int x = total_a / row + 1;
//记录偏移merge过程每页中偏移的数量
int pos = x * row - total_a;
//新库减去偏移页重新从第一页开始取数据
Page.setPage(page - x);
//每次取row+pos的条记录
Page.setRows(row + pos);
//第一页的截取pos值之后的row行
if (Page.getPage() == 1) {
row_b =B.get(Page);
return getPage(row_b.subList(pos, row_b.size()), total).toJSONString();
}
//第二页以后截取前row行
else {
//实际需要的数据开始index
int start_index = (Page.getPage() -1) * row +pos;
//实际需要的数据结束index
int end_index = Page.getPage() * row +pos;
//偏移区间需的开始index
int start_pos =(Page.getPage()-1) * sr.getRows();
//偏移区间需的结束index
int end_pos = Page.getPage() * Page.getRows();
//如果实际的取的数据在偏移区间中，直接从当前偏移区间截取，这是第二页的
if(start_index>= start_pos){
row_b = B.get(Page);//这时候第一页还有后面一截row行没取完
return getPage(row_b.subList(start_index-start_pos, end_index-start_pos >list1.size()? list1.size() : end_index-start_pos));
}
//如果start_index < start_pos,取前后两组数据，这是第二页之后的
else if(start_index < start_pos){
//页码回迁
int fix_page = (Page.getPage()-1) * pos / Page.getRows() +1;
Page.setPage(Page.getPage() - fix_page);
row_b = B.get(Page);//这是第一页的，还有部分在下一页没取完
Page.setPage(Page.getPage() + 1);
row_b.addAll(B.get(Page));
//再根据偏移进行截取
int s_index = start_index - (Page.getPage()-fix_page -1 ) * sr.getRows();
int s_end = end_index - (Page.getPage()-fix_page -1 )*sr.getRows();
return getPage(row_b.subList(s_index, s_end>list1.size()? list1.size() : s_end ));
}

}
}
}
}
}

大致是分情况记录各种偏移，然后修正。