php 用csv文件导出大量数据初方案

背景：接手的项目中支持导出一批数据，全数量在50W左右。在接手的时候看代码是直接一次查询mysql获得数据，然后用header函数直接写入csv，用户开始导出则自动下载。但是，在全导出的时候，功能出现了BUG问题。

1.数据量大导致php处理脚本运行时间，超过默认限制。

2.数据量过大，导致内存溢出，流程中止。

初版解决方案：

1.通过函数set_time_limit(0); 取消执行时间限制(在导出的函数入口设置，这是合理的，导出的数据量过大了)

2.关于数据过大，内存溢出的解决办法，开始是想到了php动态变量(先由sql语句获得总记录数，然后每2W条切分，查询2w条数据存入一个变量)

$total_export_count = $db->getOne("select count(1) from ($sql) t2");

for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
$export_data = "exportdata".$i;
$$export_data = $db->getAll($sql." limit ".strval($i*20000).",20000");
}

然后通过相应的代码取出变量的信息，echo到csv文件中，这种方式在本地测试的时候是通过的，但在服务器上依旧会内存溢出。

header ( "Content-type:application/vnd.ms-excel" );
header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
$out = $column_name;
echo iconv ( "UTF-8", "GB18030", $out );

for ($i=0;$i<intval($total_export_count/20000)+1;$i++){
$dynamic_name = "exportdata".$i;
foreach ( $$dynamic_name as $key => $item ) {
echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
}

// 将已经写到csv中的数据存储变量销毁，释放内存占用
unset($$dynamic_name);
}

exit ();

因为上面的方法在服务器上没有通过，所以只能将分割数据量的操作放到写文件的流程中，相比上面的思路这种会慢一些。

header ( "Content-type:application/vnd.ms-excel" );
header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "查询用户列表" ) . ".csv" );
$out = $column_name;
echo iconv ( "UTF-8", "GB18030", $out );

$pre_count = 20000;
for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
$export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
foreach ( $export_data as $key => $item ) {
echo iconv ( "UTF-8", "GB18030", "\n".implode(',',$item) );
}

// 将已经写到csv中的数据存储变量销毁，释放内存占用
unset($export_data);
}

exit ();

经测试之后是可行的，服务器上也可以导出，就是时间会慢一些，而且会是一直下载状态。

关于这个场景整理了一些资料：

1.csv文件的条数是好像没有限制的，可以一直写(网上的博文里面看的，没证实过)

2.excel 2010版本以上，是可以读取100多W行数据的(验证过，新建一个excel，ctrl+下箭头 到文件末尾可以看到行数)

理想的解决方案(没有具体实施，想的)

1.数据分割肯定是必须的步骤，防止内存溢出。

2.将分割后的数据写入到一个excel或者一个csv文件中，被分割了多少次，写多少个文件。这样可以防止达到文件行数的最大限制。

3.将2中写的文件进行压缩处理，压缩成一个压缩包，然后进行自动下载。

补充：

在上面的方案正式运行的时候发现导出的数据，总是比查询的总记录数要少1000多条，几次看数据后发现有些数据并没有换行，而是写到上一行去了。在有了这个觉悟后，重新看了遍之前转别人的帖子，发现还是用fputcsv()函数比较靠谱，传入一个数组，作为一行的数据，由该函数自己去写换行和控列。感觉有些时候还是不要偷懒的好啊，虽然自己写","完成列分割，写"\n"完成空格，貌似是可行的，但是对于一些数据，并不一定能控制的好。

修改后的导出代码：

header ( "Content-type:application/vnd.ms-excel" );
header ( "Content-Disposition:filename=" . iconv ( "UTF-8", "GB18030", "query_user_info" ) . ".csv" );

// 打开PHP文件句柄，php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a');

// 将中文标题转换编码，否则乱码
foreach ($column_name as $i => $v) {
$column_name[$i] = iconv('utf-8', 'GB18030', $v);
}
// 将标题名称通过fputcsv写到文件句柄
fputcsv($fp, $column_name);

$pre_count = 10000;
for ($i=0;$i<intval($total_export_count/$pre_count)+1;$i++){
$export_data = $db->getAll($sql." limit ".strval($i*$pre_count).",{$pre_count}");
foreach ( $export_data as $item ) {
$rows = array();
foreach ( $item as $export_obj){
$rows[] = iconv('utf-8', 'GB18030', $export_obj);
}
fputcsv($fp, $rows);
}

// 将已经写到csv中的数据存储变量销毁，释放内存占用
unset($export_data);
ob_flush();
flush();
}

exit ();