用Laravel轻松处理千万级数据的方法实现
2021-02-01 04:06
886 查看
在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)
事发现场
最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误;
如何解决
目前想到两种方法:
- 调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").
- 使用Laravel的Lazy Collection.
考虑到修改配置文件的影响范围过大, 以及对导出的实时性要求不是很高, 所以我们选择了第二种方法.
Lazy Collection
如何使用Lazy Collection? 很简单, 将查询构建器链末尾的get()更改为cursor()就好了 !
cursor ( )
cursor的原理
cursor的实现使用了 yield 关键字, yield关键字是生成器函数的核心, 它的调用形式跟return很像, 不同之处在于return会返回值并且终止函数执行, 而yield会返回值给循环调用生成器的代码并且只是暂停生成器函数.
cursor()的代码如下
/** * Get a generator for the given query. * * @return Generator */ public function cursor() { foreach ($this->applyScopes()->query->cursor() as $record) { yield $this->newModelInstance()->newFromBuilder($record); } }
由于使用了yield关键字, 在循环cursor生成器的时候,可以渐进式的处理数据,即使在内存很小的情况下,也可以轻松处理千万级的数据! 真的是非常方便哦!
到此这篇关于用Laravel轻松处理千万级数据的方法实现的文章就介绍到这了,更多相关Laravel 处理千万级数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
您可能感兴趣的文章:相关文章推荐
- php处理json请求(php获取post请求的json数据的实现方法)
- 处理千万级以上的数据提高查询速度的方法(转)
- Ajax上传实现根据服务器端返回数据进行js处理的方法
- 揭秘|每秒千万级的实时数据处理是怎么实现的?
- mysql 对于百万 千万级数据的分表实现方法
- PHP处理二进制数据的实现方法
- 处理千万级以上的数据提高查询速度的方法(转)
- 处理千万级以上的数据提高查询速度的方法(转)
- 用R语言实现对不平衡数据的四种处理方法
- Laravel框架实现修改登录和注册接口数据返回格式的方法
- laravel实现按月或天或小时统计mysql数据的方法
- 用ADO.Net实现Oracle大批量数据更新优化处理方法
- 处理千万级以上的数据提高查询速度的方法
- 处理千万级以上的数据提高查询速度的方法(转)
- 处理千万级以上的数据提高查询速度的方法
- 5 种使用 Python 代码轻松实现数据可视化的方法
- 处理千万级以上的数据提高查询速度的方法(转)
- laravel 数据迁移与 Eloquent ORM的实现方法
- SpringMVC(27):json数据的传递处理的示例(实现功能:使用jQuery框架的ajax()方法实现用户信息查看)
- 处理千万级以上的数据提高查询速度的方法