如何利用php数组对百万数据进行排重
2010-06-24 20:58
661 查看
如何利用php数组对百万数据进行排重
文章转自中国站长站:http://www.chinaz.com/Program/PHP/060311M212010.html在平时的工作中,经常接到要对网站的会员进行站内信、手机短信、email进行群发信息的通知,用户列表一般由别的同事提供,当中难免会有重复,为了避免重复发送,所以我在进行发送信息前要对他们提供的用户列表进行排重,下面我以uid列表来讲讲我是如何利用php数组进行排重的。
假如得到一个uid列表,数量在百万行以上,格式如下:
10001000
10001001
10001002
................
10001000
................
10001111
其实利用php数组的特性,很好进行排重,我们先来看一下php数组的定义:PHP 中的数组实际上是一个有序映射。映射是一种把 values 关联到 keys 的类型。此类型在很多方面做了优化,因此可以把它当成真正的数组,或列表(向量),散列表(是映射的一种实现),字典,集合,栈,队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。
在php的数组中,键(keys)也称为索引,具有唯一性,我们正可以利用这一特性进行排重,示例代码如下:
<?php //定义一个数组,用于存放排重后的结果 $result = array(); //读取uid列表文件 $fp = fopen('test.txt', 'r'); while(!feof($fp)) { $uid = fgets($fp); $uid = trim($uid); $uid = trim($uid, "/r"); $uid = trim($uid, "/n"); if($uid == '') { continue; } //以uid为key去看该值是否存在 if(empty($result[$uid])) { $result[$uid] = 1; } } fclose($fp); //将结果保存到文件 $content = ''; foreach($result as $k => $v) { $content .= $k."/n"; } $fp = fopen('result.txt', 'w'); fwrite($fp, $content); fclose($fp); ?> |
还有,这可方法还可以用于两个文件进行排重的工作,如果你有两个uid列表文件,格式和上面的uid列表一样,示例程序如下:
<?php
//定义数组,用于存放排重后的结果
$result = array();
//读取第一个uid列表文件,放入$result_1
$fp = fopen('test_1.txt', 'r');
while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid, "/r");
$uid = trim($uid, "/n");
if($uid == '')
{
continue;
}
//以uid为key写入$result,如有重复就会覆盖
$result[$uid] = 1;
}
fclose($fp);
//读取第二个uid列表文件,并进行排重操作
$fp = fopen('test_2.txt', 'r');
while(!feof($fp))
{
$uid = fgets($fp);
$uid = trim($uid);
$uid = trim($uid, "/r");
$uid = trim($uid, "/n");
if($uid == '')
{
continue;
}
//以uid为key去看该值是否存在
if(empty($result[$uid]))
{
$result[$uid] = 1;
}
}
fclose($fp);
//$result里保存的就排重以后的结果,可以输出到文件,代码省略
?> |
相关文章推荐
- Ajax 如何通过url 传递Json 数据或者数组 给PHP进行处理
- php数组对百万数据进行排除重复数据的实现代码
- 如何利用EasyRecovery工具进行数据恢复
- 利用EXP/IMP进行数据迁移,如何转换表空间操作(完整版)
- C#如何利用结构体对固定格式数据进行解析
- as3.0利用DES和AES对数据进行加密和解密并且与php端加密匹配!
- PHP如何将多维数组中的数据批量插入数据库?
- 如何在PHP项目中使用phinx进行数据迁移和建表
- 在ENVI进行的土地利用分类数据,需要做景观指数分析,如何将其转换成GRID格式呀
- php利用数组来进行引用传递
- php中如何利用模糊查询,查询mongodb一个月内数据
- php中如何使对象可以像数组一样进行foreach循环
- 如何利用Watson Analytics进行数据探索
- YUV420数据和字符信息如何利用滤镜方法进行编码?
- 如何利用季节性数据进行预测分析
- 如何利用SqlDataAdapter进行数据更新(转载)
- Husky简介及如何利用PyHusky进行数据分析计划
- php中如何把多行文本框textarea提交上来的数据按照回车换行拆分成数组
- 利用数组进行数据查找