PHP生成百万个UID存入文件、插入数据库

这是今天一个群里问的问题，主要是写入文件耗时大。

写入文件

我这里做一个实验，每20000个UID写入一个文件，大概一个文件写入是大概280kb，这样总体写入的时间只有13S

贴下代码

<?php
set_time_limit(0);

$starttime = time();

$fh = fopen($filename,'w');

for($i=0;$i<1000000;$i++)
{
$uid = uniqid();
if($i%20000 == 0)
{
$filename = $i.'.txt';

}
fwrite($fh,$uid.' ');
}
$endtime = time();
echo '总用时:'.($endtime-$starttime).'s';
?>

插入数据库

如果百万条数据插入数据库的话也是非常耗时的。我做了一个测试，两个字段(id,message) insert一百万跳数据需要280多S，可想而知，如果是多个字段，大文字字段插入的话会更耗时间。

这里也要换一个方式

我一开始插入100万条的sql语句是：

insert into t(id,message) values(1,'hello1');
insert into t(id,message) values(2,'hello2');

拼接插入语句的话：

insert into t(id,message) values(1,'hello1'),(2,'hello2');

这样插入100万条数据的时间只有5S而已。差距非常大，这样插入效率高的原理就是：

是大大减少了解析sql语句时间

是减少了sql语句的长度，减少网络的IO

然而我试了下一次插入2000条和插入50000条时间上没多大差别，但是要注意的是sql语句别超过你mysql配置的最大sql语句长度：max_allowed_packet

网上还有的朋友说是使用事务也可以。但是这么庞大数据，如果插入失败事务回滚也是非常不划算的。

贴下插入数据库php代码

<?php

##直接插入100W条 用时286S
##每次sql 2000插入用时5s
##每次sql 50000 插入用时5s
set_time_limit(0);
include_once('mysql_class.php');
$starttime = time();
$db = new mysql('localhost','root','','test','','utf8');

for($i=0;$i<1000000;$i++)
{
if($i %50000 ==0) $sql = "insert into t4(message) values";
else $sql .= ',';
$num = $i+1;
$sql .= "('msg_{$num}')";
if($num %50000 ==0)
{
$db->query($sql);
}
}
$endtime = time();
echo '总用时:'.($endtime-$starttime).'s';
?>