SQL SERVER 删除重复内容行
2009-08-05 23:10
246 查看
对于重复行删除的问题,网上很难找到合适的答案,问问题的不少,但在搜索引擎中草草地看了一下前面的记录都没有解决方案。
其实这个问题可以很华丽的解决。
1、如果这张表没有主键(或者相同的行并没有不相同的内容列),则需要新建一个自增列,用来区分不同列。例如
复制代码 代码如下:
alter table [tablename] add [TID] int IDENTITY(1,1)
就是增加一个自增量的临时列TID。
为啥要用SQL语句?如果超过几十万行的话用SQL SERVER企业管理器的设计界面修改通常会超时。
2、然后就是关键了。给个例子就是我手上正要处理的IP地址所在地清单。近40万条数据,有SIP和EIP(开始IP和结束IP)记录重复,重复条数大概占1/5左右。对此情况用简单的一条SQL命令就搞定:
复制代码 代码如下:
delete from query_IP where TID not in (select max(TID) from query_IP group by SIP,EIP)
就是将SIP和EIP分组,取得同样分组的最大的TID值。然后将原表中不在其中的内容(也就是同样分组的重复内容中更小的ID内容)删除即可。
用这种思路可以延伸出很多SQL解题的方式。比如说某个用户登陆表,要查看每个用户最近的登陆记录。
很优雅的一条查询语句:
复制代码 代码如下:
Select * from LoginLog where ID in (select max(ID) from LoginLog group by UserID)
SQL强大之极,许多复杂的需求往往可以合并到一条SQL语句查询中实现。因此在我的程序中除了UPDATE/INSERT等操作需要事务支持,或是记录量实在太大需要分页或临时表。通常都用一条SQL语句来实现。比如说select *,(select count(*) from xxx where xxx=t.ID) from t where...。这样就可以在SELECT语句中获取关联的统计项,对于中小型系统尤其实用。
其实这个问题可以很华丽的解决。
1、如果这张表没有主键(或者相同的行并没有不相同的内容列),则需要新建一个自增列,用来区分不同列。例如
复制代码 代码如下:
alter table [tablename] add [TID] int IDENTITY(1,1)
就是增加一个自增量的临时列TID。
为啥要用SQL语句?如果超过几十万行的话用SQL SERVER企业管理器的设计界面修改通常会超时。
2、然后就是关键了。给个例子就是我手上正要处理的IP地址所在地清单。近40万条数据,有SIP和EIP(开始IP和结束IP)记录重复,重复条数大概占1/5左右。对此情况用简单的一条SQL命令就搞定:
复制代码 代码如下:
delete from query_IP where TID not in (select max(TID) from query_IP group by SIP,EIP)
就是将SIP和EIP分组,取得同样分组的最大的TID值。然后将原表中不在其中的内容(也就是同样分组的重复内容中更小的ID内容)删除即可。
用这种思路可以延伸出很多SQL解题的方式。比如说某个用户登陆表,要查看每个用户最近的登陆记录。
很优雅的一条查询语句:
复制代码 代码如下:
Select * from LoginLog where ID in (select max(ID) from LoginLog group by UserID)
SQL强大之极,许多复杂的需求往往可以合并到一条SQL语句查询中实现。因此在我的程序中除了UPDATE/INSERT等操作需要事务支持,或是记录量实在太大需要分页或临时表。通常都用一条SQL语句来实现。比如说select *,(select count(*) from xxx where xxx=t.ID) from t where...。这样就可以在SELECT语句中获取关联的统计项,对于中小型系统尤其实用。
相关文章推荐
- SQL SERVER删除重复内容行
- sql server 中删除内容重复的某条记录
- SQL SERVER 删除重复内容行
- 利用hashtable删除文本重复内容
- SQL Server删除重复行的6个方法
- 在SQL Server中快速删除重复记录
- 在SQL Server中快速删除重复记录(多图)
- SQL Server中删除重复数据的几个方法
- 搜索/删除 Sql server 表中的重复值。
- 【Shell】删除文档中重复内容
- mysql查询根据一个字段或者两个字段内容重复的记录并将其全部删除
- Sql server 删除重复记录的SQL语句
- 利用 Sql Server 游标删除重复记录
- SQL查询和删除重复字段的内容
- SQL查询和删除重复字段的内容
- 如何删除 SQL Server 表中的重复行
- SQL Server中删除重复数据的几个方法
- 在SQL Server中快速删除重复记录(多图)
- 数据库SQL server 删除一张表中的重复记录
- sql Server 重复数据的查询,删除