您的位置：首页 > 编程语言 > PHP开发

PHP处理大量数据不超出内存限制的问题

2017-10-17 20:44 281 查看

例如从两张表中分别查出上百万条数据，现在需要把这些数据组装在一起然后在插入到另外一张表中，请问除了使用数组组装外还能怎么处理，如果使用数组的话怎么才能保证不超出内存限制。

mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向
MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：

使用缓存结果集的代码：

function selecttest(){        
try {            
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');//不使用缓存结果集方式
//$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
   $sth = $pdo->prepare('select * from test');            
   $sth->execute();            
   echo '最初占用内存大小：' . memory_get_usage() . "\n";            
   $i = 0;            
   while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {                
       $i += 1;                
       if ($i > 10) {                    
       break;
       }
       sleep(1);
       print_r($result);                
       echo '占用内存大小：' . memory_get_usage() . "\n";
   }
} catch (Exception $e) {            
   echo $e->getMessage();
}
}

执行时将会报超出内存的错误：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes)
in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56Call Stack:    0.0005     135392  
1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
   0.0005     135568   2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
   0.0050     142528   3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

将上面代码中的$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：

最初占用内存大小：144808Array(
   [id] => 1
   [a] => v
   [b] => w
   [c] => i
)
占用内存大小：145544Array(
   [id] => 2
   [a] => b
   [b] => l
   [c] => q
)
占用内存大小：145544Array(
   [id] => 3
   [a] => m
   [b] => p
   [c] => h
)
占用内存大小：145536Array(
   [id] => 4
   [a] => j
   [b] => i
   [c] => b
)
占用内存大小：145536

可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航