mysql获取两个表中不重复的数据
2020-03-14 07:21
2046 查看
一、前言
比如有两个数据表,表结构是一样的,一个
a表数据
300W行,一个
b表数据
17W行,我们需要获取
a表中不包含
b表的数据。下面大致记录一下获取过程,方便查询回忆。
a表结构: id pay_id user_id
b表结构和
a表一直,只不过
b表中的
user_id字段都是唯一的,而
a表中的
user_id字段是可重复的。
二、使用distinct获取不重复的数据
我们都知道
Mysql提供了关键字distinct来排除重复数据,
1、先获取a表中不重复的数据:
select count(distinct user_id) from a where 1 ; +-----------------------------+ | count(distinct user_id) | +-----------------------------+ | 240522 | +-----------------------------+
2、获取b表数据
mysql> select count(1) from b; +----------+ | count(1) | +----------+ | 176731 |
我们看到
a表和
b表是有一定的差值的,接下来是获取差值对应的字段。
3、查询筛选后的数据
SELECT distinct user_id FROM a LEFT JOIN b ON a.user_id= b.user_id WHERE f.user_id IS NULL '; +-------------+ | user_id | +-------------+ | 10000058 | | 10009228 | | 10042967 | .... +-------------+
通过查询结果,我们获取到了不重复的
user_id的值,但是需求是获取不重复的行数据,所以还要获得
a表中
pay_id的值。只是在通过
distinct获取其他数据的时候,遇到了一些 问题
4、distinct多个字段的问题
(1)不能是分散的写法
如:
distinct user_id,distinct user_id这种写法会报错
(2)正确的distinct写法
distinct user_id, pay_id
SELECT distinct p.user_id,p.pay_id FROM a as p LEFT JOIN b as f ON p.user_id = f.user_id WHERE f.user_id IS NULL order by p.user_id asc limit 10; 类似于: | user_id | pay_id | +-------------+--------+ | 10000058 | 16 | | 10000058 | 17 | | 10000058 | 18 | | 10000058 | 19 | | 10000058 | 20 |
有个问题,
distinct多个字段,那么只会排除
user_id和
pay_id都相同的数据,并不符合需求,需求是只排除
user_id重复的部分,然后获取唯一
user_id以及对应的
pay_id
(3)符合需求的写法(使用left join)
SELECT a.pay_id,a.user_id FROM a LEFT JOIN b as f ON a.user_id = f.user_id where f.user_id IS NULL GROUP BY a.user_id order by a.user_id desc limit 10; +----------+-------------+ | pay_id | |user_id | +----------+-------------+ | 16 | 10000058 | | 15 | 10009228 | | 77 | 10042967 | | 687 | 10043113 | | 119 | 10043147 |
我们这里没有使用
distinct关键字,首先是使用
left join去除两个表中重复的部分,其次是使用g
roup by的去重特性,当按照
user_id分组的时候,自然在结果中
user_id也是唯一的一个。
记录这一篇的原因是因为一开始想的太复杂了,什么子查询啊,
not exist之类的,自己把问题想麻烦了,包括使用
distinct获取数据,往错的方向上努力,无论如何都是错的。偏偏忘记了最常用的
left join和
group by,明明就是一条
sql就能解决的事情。
祝祖国70周年生日快乐,也祝各位国庆节快乐!
end
- 点赞 3
- 收藏
- 分享
- 文章举报
相关文章推荐
- mysql 获取某字段不重复数据,删除某字段重复数据
- mysql分页获取到重复数据
- mysql 获取某字段不重复数据,删除某字段重复数据
- 【mysql】删除重复数据只保留一条
- mysql删除重复数据
- Mysql查询某字段值重复的数据
- 删除mysql中的重复数据
- MYSQL生成两个日期之间的所有日期数据
- mysql 批量插入数据防止重复插入 "ON DUPLICATE KEY UPDATE ";
- php 获取数组中重复数据
- JAVA获取两个List<String>中不同的数据
- mysql随机获取n条数据
- mysql 数据表中查找重复记录
- MySQL删除重复数据
- Mysql 如何查询两个时间段之间的数据?
- mysql 查找重复数据
- mysql数据表交换两个字段的值
- 用mysql_fetch_array()获取当前行数据的方法详解
- MySql 5.7导入BOM数据后增加数字标识(id)及删除重复数据
- mysql 在一定范围内获取随机数据