您的位置:首页 > 其它

关于SXSSFWorkbook导出大批量数据的问题

2015-10-22 16:13 543 查看
前段时间做了一个导出大批量数据的功能,但是由于数据过多使用SXSSFWorkbook会出现内存溢出的问题,

主要有两个地方容易溢出。

1.一个是从数据看读取数据到内存时溢出,基本数据超过20W或者2M时会溢出 这个时候改${jrebel_args}

-Xms1024m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024m 用处都是特别大

2.还有一个就是在FileOutputStream os = new FileOutputStream(path);
       wb.write(os);

时会报内存溢出的异常 

对于这两个地方我是这么处理的,

1.去数据时用的是分页的方法分批取数据,然后写入sheet中。这样就不会报


java.lang.OutOfMemoryError:GC overhead limit exceeded 

2.在输入的时候我查阅了poi的api发现一般是不能大批量数据输入的,但是poi的2007支持大数据处理
Workbook wb = new SXSSFWorkbook(5000);

在生成Workbook 时给工作簿一个内存数据存在条数,这样一旦这个Workbook 中数据量超过5000就会写入到磁盘中,减少内存的使用量来提高速度和避免溢出。

/**

     * 创建一个excel

     * @param exportName

     */

    private void createExcel(String path, int allnum, CalllogExportHistory call){

    try{
                //设置工作簿内存数据保有量
    Workbook wb = new SXSSFWorkbook(5000);
       Sheet sheet= wb.createSheet(OUTBOUND_RECORDS);
       
       //设置默认列宽
       sheet.setDefaultColumnWidth(defaultColumnWidth());
       //开始执行
       createContentHeader(wb, sheet, OutBoundTitle());
       
       int startNum = 0;

    int page = 1;

    int sheetRowNum = 1;

    if(allnum > DEFAULT_ONCE_EXPORT_NUMBER){

    page = allnum/DEFAULT_ONCE_EXPORT_NUMBER + 1;

    }

    //循环读取并写入

    for(int i = 1 ; i <= page; i++){

    //获取对应用户的记录

        List<List<String>> listCallRecord = outBoundService.queryOutCallRecord(call, startNum);

        //写入文件sheet'记录'中

        System.out.println("第"+i+"次导出:"+listCallRecord.size());

        //数据写入sheet

        createContentRows(sheet, listCallRecord,sheetRowNum);

       

        sheetRowNum =sheetRowNum + listCallRecord.size();

       

                    startNum = startNum + DEFAULT_ONCE_EXPORT_NUMBER;

    }
       

       FileOutputStream os = new FileOutputStream(path);
       wb.write(os);
       //结束
       os.flush();
       os.close();
} catch (Exception e) {
       e.printStackTrace();
   }

    }

只发了一个主体方法方便查看
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  内存溢出 os