SQL中删除重复数据问题

发表于:2021-12-01 09:41

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:丶平凡世界    来源:SQL数据库开发

  需求分析
  数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)
  解决方案
  碰到这样的问题我们先分解步骤来看
  · 创建测试数据
  · 找到重复的数据
  · 删除重复的数据并且保留一行
  创建测试数据
  我们创建一个人员信息表并在里面插入一些重复的数据。
  CREATE TABLE [dbo].[Person]( 
   [ID] [INT] IDENTITY(1,1) NOT NULL, 
   [Name] [VARCHAR](20) NULL, 
   [Age] [INT] NULL, 
   [Address] [VARCHAR](20) NULL, 
   [Sex] [CHAR](2) NULL 
  ); 
   
  SET IDENTITY_INSERT [dbo].[Person] ON; 
  INSERT INTO [dbo].[Person] (ID,Name,Age,Address,Sex) 
  VALUES 
  ( 1, '张三', 18, '北京路18号', '男' ), 
  ( 2, '李四', 19, '北京路29号', '男' ), 
  ( 3, '王五', 19, '南京路11号', '女' ), 
  ( 4, '张三', 18, '北京路18号', '男' ), 
  ( 5, '李四', 19, '北京路29号', '男' ), 
  ( 6, '张三', 18, '北京路18号', '男' ), 
  ( 7, '王五', 19, '南京路11号', '女' ), 
  ( 8, '马六', 18, '南京路19号', '女' ); 
  SET IDENTITY_INSERT [dbo].[Person]  OFF; 
  (提示:可以左右滑动代码)
  建立好测试数据如下:
  我们发现除了自增长ID不同以为,有几条其他字段都重复的数据出现,符合我们的需求。
  找出重复的数据
  SELECT MAX(ID) ID  , 
  Name,Age,Address,Sex 
  FROM dbo.Person 
  GROUP BY Name,Age,Address,Sex 
  HAVING COUNT(1)>1 
  HAVING将分组后统计出来的数量大于1的数据行,就是我们要找的重复数据:
  上面用Max函数或者Min函数均可,只是为了保证取出来的数据的唯一性。
  删除重复的数据
  其实我们数据库中最后要保留的结果就是第二步中查询出来的数据,我们把其他的数据删除即可。怎么删除呢?我们使用ID来排除。
  DELETE  FROM Person 
  WHERE  EXISTS 
  ( 
  SELECT * FROM ( 
  SELECT  
  MAX(ID) ID, 
  Name,Age,Address,Sex 
  FROM dbo.Person 
  GROUP BY Name,Age,Address,Sex 
  HAVING COUNT(1)>1) T 
  WHERE Person.Name=T.Name 
  AND Person.Age=T.Age 
  AND Person.Address=T.Address 
  AND Person.Sex=T.Sex 
  AND Person.ID<T.ID--如果上面使用MIN函数,这里就要改成> 
  ) 
  执行完后重新查询Person表结果如下:
  马六因为只有一条记录,所以没有参与去重,直接显示。
  今天的案例分享结束,小伙伴们可以自己动手尝试一下,兴许工作中也会遇到类似问题。如果你在公众中遇到一些有趣的问题也可以发送给我。

  本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号