【MySQL】删除重复记录保留一条的高性能DELETE写法
2016-10-15 09:49
316 查看
周中遇到一个情况就是一张表出现了很多重复记录,需要删除掉这些重复记录只保留一条,因为有自增长的主键,就决定保留PK最小的那一条吧。具体操作过程记录如下。
建一张示例表并插些数据看看吧。
mysql> CREATE TABLE `visitor_province_yn` (
-> `id` INT(11) NOT NULL AUTO_INCREMENT,
-> `visitor` int(10) unsigned NOT NULL,
-> `province` varchar(25) NOT NULL,
-> `yn` CHAR(1) NOT NULL,
-> PRIMARY KEY (`id`)
-> );
Query OK, 0 rows affected (0.01 sec)
mysql> INSERT INTO `visitor_province_yn`(`visitor`, `province`, `yn`) VALUES
-> (11, 'A省', 'Y'),
-> (11, 'A省', 'Y'),
-> (11, 'A省', 'Y'),
-> (22, 'B省', 'N'),
-> (22, 'B省', 'N'),
-> (22, 'B省', 'N'),
-> (33, 'C省', 'Y'),
-> (33, 'C省', 'Y'),
-> (33, 'C省', 'Y');
Query OK, 9 rows affected (0.00 sec)
Records: 9 Duplicates: 0 Warnings: 0
示例表“visitor_province_yn”表的数据如下,按照预想是删除重复保留“id”是1、4以及7这三条记录。
首先想到的是以下写法,因为DML和DQL是同一张表,不得不额外多一层嵌套子查询。所以,觉得这种写法简单明晰,但是性能应该要有所折扣。
DELETE FROM visitor_province_yn
WHERE id NOT IN(
SELECT id
FROM(
SELECT MIN(vpy.id) AS id
FROM visitor_province_yn AS vpy
GROUP BY vpy.visitor, vpy.province, vpy.yn
) AS tmp
);
于是,又去查询了一下MySQL官方手册有关“DELETE”语法的解释(http://dev.mysql.com/doc/refman/5.7/en/delete.html),结果一眼就找到了当前需要的另一种写法,在文档的“Multi-Table
Deletes”部分,形式如下。
DELETE t1 FROM t1 LEFT JOIN t2 ON t1.id=t2.id WHERE t2.id IS NULL;
以此为参考,改写后的SQL如下所示。
DELETE visitor_province_yn
FROM visitor_province_yn
LEFT JOIN(
SELECT MIN(vpy.id) AS id
FROM visitor_province_yn AS vpy
GROUP BY vpy.visitor, vpy.province, vpy.yn
) AS tmp USING (id)
WHERE tmp.id IS NULL;
因此,原来这种左连接返回存在于左表中而不存在于右表中记录的写法同样适用于“DELETE”。“EXPLAIN”一下发现,第二种写法以“PRIMARY”的查询方式代替第一种写法的“DEPENDENT SUBQUERY”,扫描更少的记录行,而且关联方式“type”是性能更优的“ref”(参考译文:http://blog.csdn.net/sweeper_freedoman/article/details/52819839)。由此可见,第二种写法更值得选择。
建一张示例表并插些数据看看吧。
mysql> CREATE TABLE `visitor_province_yn` (
-> `id` INT(11) NOT NULL AUTO_INCREMENT,
-> `visitor` int(10) unsigned NOT NULL,
-> `province` varchar(25) NOT NULL,
-> `yn` CHAR(1) NOT NULL,
-> PRIMARY KEY (`id`)
-> );
Query OK, 0 rows affected (0.01 sec)
mysql> INSERT INTO `visitor_province_yn`(`visitor`, `province`, `yn`) VALUES
-> (11, 'A省', 'Y'),
-> (11, 'A省', 'Y'),
-> (11, 'A省', 'Y'),
-> (22, 'B省', 'N'),
-> (22, 'B省', 'N'),
-> (22, 'B省', 'N'),
-> (33, 'C省', 'Y'),
-> (33, 'C省', 'Y'),
-> (33, 'C省', 'Y');
Query OK, 9 rows affected (0.00 sec)
Records: 9 Duplicates: 0 Warnings: 0
示例表“visitor_province_yn”表的数据如下,按照预想是删除重复保留“id”是1、4以及7这三条记录。
mysql> SELECT * FROM `visitor_province_yn`; +----+---------+----------+----+ | id | visitor | province | yn | +----+---------+----------+----+ | 1 | 11 | A省 | Y | | 2 | 11 | A省 | Y | | 3 | 11 | A省 | Y | | 4 | 22 | B省 | N | | 5 | 22 | B省 | N | | 6 | 22 | B省 | N | | 7 | 33 | C省 | Y | | 8 | 33 | C省 | Y | | 9 | 33 | C省 | Y | +----+---------+----------+----+ 9 rows in set (0.00 sec)
首先想到的是以下写法,因为DML和DQL是同一张表,不得不额外多一层嵌套子查询。所以,觉得这种写法简单明晰,但是性能应该要有所折扣。
DELETE FROM visitor_province_yn
WHERE id NOT IN(
SELECT id
FROM(
SELECT MIN(vpy.id) AS id
FROM visitor_province_yn AS vpy
GROUP BY vpy.visitor, vpy.province, vpy.yn
) AS tmp
);
于是,又去查询了一下MySQL官方手册有关“DELETE”语法的解释(http://dev.mysql.com/doc/refman/5.7/en/delete.html),结果一眼就找到了当前需要的另一种写法,在文档的“Multi-Table
Deletes”部分,形式如下。
DELETE t1 FROM t1 LEFT JOIN t2 ON t1.id=t2.id WHERE t2.id IS NULL;
以此为参考,改写后的SQL如下所示。
DELETE visitor_province_yn
FROM visitor_province_yn
LEFT JOIN(
SELECT MIN(vpy.id) AS id
FROM visitor_province_yn AS vpy
GROUP BY vpy.visitor, vpy.province, vpy.yn
) AS tmp USING (id)
WHERE tmp.id IS NULL;
因此,原来这种左连接返回存在于左表中而不存在于右表中记录的写法同样适用于“DELETE”。“EXPLAIN”一下发现,第二种写法以“PRIMARY”的查询方式代替第一种写法的“DEPENDENT SUBQUERY”,扫描更少的记录行,而且关联方式“type”是性能更优的“ref”(参考译文:http://blog.csdn.net/sweeper_freedoman/article/details/52819839)。由此可见,第二种写法更值得选择。
相关文章推荐
- mysql删除无主键表中重复记录(只保留一条记录)
- MySQL删除重复记录只保留一条
- 关于mysql中删除重复记录,并保留重复数据中的一条数据的SQL语句理解
- mysql删除重复记录,只保留一条。
- MySQL删除重复记录只保留一条
- MySQL删除重复记录只保留一条
- MySQL下删除重复记录只保留一条数据
- Mysql删除重复记录,保留id最小的一条
- Mysql删除重复记录,保留id最小的一条
- mysql删除重复记录只保留一条数据
- mysql中删除重复记录,只保留一条
- MySQL按某些字段删除重复记录,只保留一条记录
- mysql 删除表中的重复记录,只保留其中一条
- mysql 查找重复的字段,并删除记录只保留一条
- MySQL删除表中多余的重复记录,只保留一条记录
- mysql删除重复记录,但是要保留其中一条
- mysql删除重复记录并只保留一条
- mysql删除重复记录只保留一条
- mysql,oracle里删除重复记录,只保留一条(除了自增长字段,其他的字段完全相同为相同记录)
- mysql删除重复数据只保留id最大一条记录