SQLSERVER 怎样去除重复记录

【SQLSERVER】怎样去除重复记录

有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
假设有重复的字段为title，要求得到这个字段唯一的结果集

delete companynews where id in
(
select id from (select title,max(id) as id ,count(*) as rcount from companynews group by title) a where rcount>1
)

在查询分析器中循环执行若干边，直到影响航数为0为止即可去除所有重复记录。

查询同一表内多字段同时重复记录的SQL语句

比如现在有一人员表 （表名：peosons）
若想将姓名、身份证号、住址这三个字段完全相同的记录查询出来
select p1.* from persons p1,persons p2 where p1.id<>p2.id and p1.cardid = p2.cardid and p1.pname = p2.pname and p1.address = p2.address

使用一条SQL语句删除表中重复记录

数据库结构的脚本:

if exists (select * from dbo.sysobjects where id = object_id(N'[dbo].[TempA]') and OBJECTPROPERTY(id, N'IsUserTable') = 1) drop table [dbo].[TempA] GO CREATE TABLE [dbo].[TempA] ( [id] [int] IDENTITY (1, 1) NOT NULL , [PositionName] [varchar] (256) COLLATE Chinese_PRC_CI_AS NULL , [EnglishPositionName] [varchar] (256) COLLATE Chinese_PRC_CI_AS NULL ) ON [PRIMARY] GO ALTER TABLE [dbo].[TempA] ADD CONSTRAINT [PK_TempA] PRIMARY KEY CLUSTERED ( [id] ) ON [PRIMARY] GO

TempA表中有三个字段,id唯一且为主键,自动增长; PositionName,EnglishPositionName中有重复的记录,比如:
id PositionName EnglishPositionName
20 其他 Others
21 质量工程师 QC Engineer
22 其他 Others
.......
100 质量工程师 QC Engineer
需要剔除重复的"其他","质量工程师"等记录。
采用的SQL语句：
Delete from TempA where id not in (
select max(t1.id) from TempA t1 group by
t1.PositionName,t1.EnglishPositionName)

说明：
(1)需要剔除那几个用于判断重复的字段，则将它们放在group by语句之后。
(2)max(t1.id) 也可以改成：min(t1.id)

查找重复记录

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)