我们可能会出现这种情况,某个表原来设计不周全,导致表里面的数据数据重复,那么,如何对重复的数据进行删除呢?
:RL*V"M5MPZxke0
X}i-?"jIc B;c0 重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。51Testing软件测试网ejf:KPN'_M
,a4_u.Q(J:H0 一、对于部分字段重复数据的删除
8K"uN)k.H0j0 51Testing软件测试网*p+]#RhW b
先来谈谈如何查询重复的数据吧。
;LL3p?7\'Q.V0
v4A-`m Z)E![nv*M"i0 下面语句可以查询出那些数据是重复的:51Testing软件测试网XNX,N}|+s7o
51Testing软件测试网E!Y,N6Fk&A#M5L
select字段1,字段2,count(*)from表名group by字段1,字段2 having count(*)> 151Testing软件测试网4] Ug&i+eu }z
51Testing软件测试网8_9Ek&U |`
将上面的>号改为=号就可以查询出没有重复的数据了。51Testing软件测试网(zT `$C6z
)h
Oh'P7[-He,V oR0 想要删除这些重复的数据,可以使用下面语句进行删除51Testing软件测试网.Z&jP!uV
51Testing软件测试网2gA/t
k B |
delete from表名a where字段1,字段2 in(select字段1,字段2,count(*)from表名group by字段1,字段2 having count(*)> 1)51Testing软件测试网"PD}+zJJ Wx
-Ns.X'a6q"FE0 上面的语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:51Testing软件测试网v/V,Q2B6cj'?6o/o
51Testing软件测试网 Mcg(QO8o I
CREATE TABLE临时表AS(select字段1,字段2,count(*)from表名group by字段1,字段2 having count(*)> 1)51Testing软件测试网?,O6pWL$kegW
51Testing软件测试网
s4IsM4x xj|UZP
上面这句话就是建立了临时表,并将查询到的数据插入其中。51Testing软件测试网7wqfk/C\$X
51Testing软件测试网d7v(g^C8@k2`
下面就可以进行这样的删除操作了:51Testing软件测试网P$G@`#Q
51Testing软件测试网/J B?3wsA1\Q
delete from表名a where字段1,字段2 in(select字段1,字段2 from临时表);
6X-uV*DB.]u0 51Testing软件测试网zlE
Kuqp0r
这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。51Testing软件测试网`+h8f5rBN\
X$D9m.D"V0 这个时候,大家可能会跳出来说,什么?你叫我们执行这种语句,那不是把所有重复的全都删除吗?而我们想保留重复数据中最新的一条记录啊!大家不要急,下面我就讲一下如何进行这种操作。
6`%_U0r.~)tfD.\
{S0 51Testing软件测试网V[Q"I.r
在oracle中,有个隐藏了自动rowid,里面给每条记录一个唯一的rowid,我们如果想保留最新的一条记录,51Testing软件测试网cz4E"Vl2ph G
S1b+@%L8e'R0 我们就可以利用这个字段,保留重复数据中rowid最大的一条记录就可以了。51Testing软件测试网q xY-D_bASs
d^
~!B*nDK D]p0 下面是查询重复数据的一个例子:51Testing软件测试网6~ B5p"o4X
*MA&uR&x'@9}0 select a.rowid,a.* from表名a where a.rowid!=(select max(b.rowid)from表名b where a.字段1 = b.字段1 and a.字段2 = b.字段2)51Testing软件测试网gZ^nYi
{M
51Testing软件测试网v!jqCzT
下面我就来讲解一下,上面括号中的语句是查询出重复数据中rowid最大的一条记录。
+x8^zP"xBqO0
3V~"UD-bZS0 而外面就是查询出除了rowid最大之外的其他重复的数据了。
gUE` NUS0 51Testing软件测试网XV)AB8oj
由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:51Testing软件测试网M
o
M9F%x2^3B/N
51Testing软件测试网z^4o4r
?ybg~o1N
delete from表名a where a.rowid!=(select max(b.rowid)from表名b where a.字段1 = b.字段1 and a.字段2 = b.字段2)
3O7KlQ3Mqz4f0 51Testing软件测试网0B)O&?glaL {
随便说一下,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。51Testing软件测试网"dy5j1H&{T i(c
fR0?*{ ^0 create table临时表as select a.字段1,a.字段2,MAX(a.ROWID)dataid from正式表a GROUP BY a.字段1,a.字段2;delete from表名a where a.rowid!=(select b.dataid from临时表b where a.字段1 = b.字段1 and a.字段2 = b.字段2);commit;
*b,@\KUU/`;M'}]0
jg-h:_!ST"pZJ0 二、对于完全重复记录的删除
P
u7T@b)Q0
-mx:X;h`,HM\/u0 对于表中两行记录完全一样的情况,可以用下面语句获取到去掉重复数据后的记录:51Testing软件测试网y y1]e o
X#y [y
51Testing软件测试网6H E;f}K U[
select distinct * from表名51Testing软件测试网Fn;t2Pp;O7Pw
DD5VIJG0 可以将查询的记录放到临时表中,然后再将原来的表记录删除,最后将临时表的数据导回原来的表中。如下:51Testing软件测试网f3Wu.cUq/Q:]E
51Testing软件测试网7I[
n ~LQ&z_
CREATE TABLE临时表AS(select distinct * from表名);drop table正式表;insert into正式表(select * from临时表);drop table临时表;51Testing软件测试网S g3Stf2}s
Dpc+L/v0 如果想删除一个表的重复数据,可以先建一个临时表,将去掉重复数据后的数据导入到临时表,然后在从临时表将数据导入正式表中,如下:51Testing软件测试网3N~&L;?C7n!m
51Testing软件测试网_M8W1^?L
INSERT INTO t_table_bak select distinct * from t_table;
,S*Lr5Ts7mQ Q*y0