MySQL 去除重复数据实例详解
2017-06-27 11:43
441 查看
MySQL 去除重复数据实例详解
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。
select distinct * from t;
对于第二类重复问题,通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段,id是主键,有重复的字段为name,address,要求得到这两个字段唯一的结果集。
-- Oracle、MySQL,使用相关子查询
select * from t t1 where t1.id = (select min(t2.id) from t t2 where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一
select t1.* from t t1, (select name, address, min(id) id from t group by name, address) t2 where t1.id = t2.id;
-- 还可以使用hive的row_number()分析函数
select t.id, t.name, t.address from (select id, name, address, row_number() over (distribute by name, address sort by id) as rn from t) t where t.rn=1;
感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
您可能感兴趣的文章:
相关文章推荐
- mysql查找删除重复数据并只保留一条实例详解
- mysql 去除重复数据的问题
- mysql 去除重复数据的问题
- 详解MySQL导出指定表中的数据的实例
- mysql去除重复数据,只保留一条。
- mysql去除重复数据
- 如何通过mysql去除重复数据呢
- mysql数据存储过程参数实例详解
- Oracle表中重复数据去重的方法实例详解
- mysql数据存储过程参数实例详解
- mysql数据去除重复及相关优化(转)
- MySQL DISTINCT语句去除重复记录数据
- 去除mysql表中的重复数据
- MySQL数据类型中DECIMAL的用法实例详解
- mysql利用创建临时表方法去除数据表中重复值
- MySQL去除重复数据
- mySQL count多个表的数据实例详解
- MYSql 去除重复数据
- mysql-去除重复数据并且添加
- Java实现数组去除重复数据的方法详解