php向mysql数据库查询、插入、删除较多条数据

最近项目做了个数据库备份。需要用php对项目30天前数据做增量备份。记录一下其中处理较多数据查询、插入、删除的解决办法。

一、查询
由于项目三十天之前的数据实在是太多。查询时甚至出现了，内存不足的报错。。
解决方法：
利用分页原理。动态传入page参数。

class DatabaseBak extends Command
{
protected $page_size;

function handle(){
$this->page_size = 1000000;
//开始备份
$this->lucky_code();
}

//lucky_code表
protected function lucky_code(){
$this->comment('开始查询更新数量...');
$page = 1;
do {
$lucky_code = DB::table('lucky_code')->where('create_at', '<', $this->time)->forPage($page, $this->page_size)->get();
$this->comment('开始备份数据，共计' . $lucky_code->count() . '条记录。');

$page++;
} while ($lucky_code->count() && $lucky_code->count() <= $this->page_size);
}
}

二、插入
解决方法：主要是利用mysql语句insert插入时 value可以传多个。array_chunk()函数将一个数组分割成多个数组。（注意array_chunk最多只能每个子数组给5000个元素）

$arr = array_chunk(json_decode(json_encode($lucky_code), true), 5000);
foreach ($arr as $l) {
//备份数据
DB::connection('pgyg_bak')->table('lucky_code')->insert($l);
}

三、删除
解决方法：主要是利用mysql语句中where id in (1, 2, 3, .., n) 条件查询。
DB::table('lucky_code')->whereIn('id', $id_list)->delete();

四、总结
这次做数据库备份时，发现有几点要注意的是：
1、当用分页查询的时候，插入和删除是和查询同步的。即：查出一页，备份一页然后主表删除一页。然后再下一页。。
2、为了确保数据不丢失，除了使用事务之外。查询、插入、删除的依据应该都是每条记录的id。