重復的數據可能有這樣兩種情況,第一種: 表中只有某些字段一樣,第二種是兩行記錄完全一樣。
一、對於部分字段重復數據的刪除
1.查詢重復的數據
select 字段1,字段2, count(*) from 表名 group by 字段1,字段2 having count(*) > 1
例:Select owner from dba_tables group by owner having count(*)>1;
Select owner from dba_tables group by owner having count(*)=1; //查詢出沒有重復的數據
2.刪除重復的數據
delete from 表名 a where 字段1,字段2 in (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
這種刪除執行的效率非常低,對於大數據量來說,可能會將數據庫吊死。
另一種高效率的方法是先將查詢到的重復的數據插入到一個臨時表中,然后再進行刪除。
CREATE TABLE 臨時表 AS
(
select 字段1,字段2, count(*) as row_num
from 表名
group by 字段1,字段2
having count(*) > 1
);
上面這句話就是建立了臨時表,並將查詢到的數據插入其中。
下面就可以進行這樣的刪除操作了:
delete from 表名 a
where 字段1,字段2 in (select 字段1,字段2 from 臨時表);
3.保留重復數據中最新的一條記錄
在Oracle中,rowid是隱藏字段,用來唯一標識每條記錄。所以,只要保留重復數據中rowid最大的一條記錄就可以了。
查詢重復數據:
select a.rowid,a.* from 表名 a
where a.rowid != (
select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and a.字段2 = b.字段2 );
例:selete from dba_tables a
where a.rowid!=(
select max(rowid) from test b
where a.owner=b.owner);
刪除重復數據,只保留最新的一條數據:
delete from 表名 a
where a.rowid != (
select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and a.字段2 = b.字段2 )
使用臨時表實現高效查詢
create table 臨時表 as
(select a.字段1, a.字段2, MAX(a.ROWID) as dataid from 正式表 a
GROUP BY a.字段1,a.字段2);
delete from 表名 a
where a.rowid !=
( select b.dataid from 臨時表 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2 );
commit;
二、對於完全重復記錄的刪除
對於表中兩行記錄完全一樣的情況,可以用下面語句獲取到去掉重復數據后的記錄:
select distinct * from 表名
可以將查詢的記錄放到臨時表中,然后再將原來的表記錄刪除,最后將臨時表的數據導回原來的表中。如下:
CREATE TABLE 臨時表 AS (select distinct * from 表名);
drop table 正式表;
insert into 正式表 (select * from 臨時表);
drop table 臨時表; 假如想刪除一個表的重復數據,可以先建一個臨時表,將去掉重復數據后的數據導入到臨時表,然后在從臨時表將數據導入正式表中,如下: INSERT INTO t_table_bak
select distinct * from t_table;
以下是補充:
Oracle 數據庫中查詢重復數據:
select * from employee group by emp_name having count (*)>1;
Oracle 查詢可以刪除的重復數據
select t1.* from employee t1 where (t1.emp_name) in (SELECT t2.emp_name from employee t2 group by emp_name having count (*)>1) and t1.emp_id not in (select min(t3.emp_id) from employee t3 group by emp_name having count (*)>1);
Oracle 刪除重復數據
delete from employee t1 where (t1.emp_name) in (SELECT t2.emp_name from employee t2 group by emp_name having count (*)>1) and t1.emp_id not in (select min(t3.emp_id) from employee t3 group by emp_name having count (*)>1);
---------------------------------------------------列數太多咋辦呢-----------------------------------------------------
Oracle數據庫重復的數據一般有兩種去重方法,一、完全重復數據去重;二、部分字段數據重復去重。
一、完全重復數據去重方法
對於表中完全重復數據去重,可以采用以下SQL語句。
Code
CREATETABLE"#temp"AS (SELECTDISTINCT * FROM 表名);--創建臨時表,並把DISTINCT 去重后的數據插入到臨時表中
truncateTABLE 表名;--清空原表數據
INSERTINTO 表名(SELECT * FROM"#temp");--將臨時表數據插入到原表中
DROPTABLE"#temp";--刪除臨時表
具體思路是,首先創建一個臨時表,然后將DISTINCT之后的表數據插入到這個臨時表中;然后清空原表數據;再講臨時表中的數據插入到原表中;最后刪除臨時表。
二、部分數據去重方法
首先查找重復數據
select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1
將上面的>號改為=號就可以查詢出沒有重復的數據了。
想要刪除這些重復的數據,可以使用下面語句進行刪除:
deletefrom 表名 a where 字段1,字段2 in
(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1)
上面的語句非常簡單,就是將查詢到的數據刪除掉。不過這種刪除執行的效率非常低,對於大數據量來說,可能會將數據庫卡死。
基於上述情況,可以先將查詢到的重復的數據插入到一個臨時表中,然后對進行刪除,這樣,執行刪除的時候就不用再進行一次查詢了。如下:
CREATETABLE 臨時表 AS
(select 字段1,字段2,count(*) from 表名 groupby 字段1,字段2 havingcount(*) > 1)
下面就可以進行這樣的刪除操作了:
deletefrom 表名 a where 字段1,字段2 in (select 字段1,字段2 from 臨時表);
先建臨時表再進行刪除的操作要比直接用一條語句進行刪除要高效得多。
上面的語句會把所有重復的全都刪除,在oracle中,有個隱藏了自動rowid,里面給每條記錄一個唯一的rowid,我們如果想保留最新的一條記錄,我們就可以利用這個字段,保留重復數據中rowid最大的一條記錄就可以了。
下面是查詢重復數據的一個例子:
select a.rowid,a.* from 表名 a
where a.rowid !=
(
selectmax(b.rowid) from 表名 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2
)
上面括號中的語句是查詢出重復數據中rowid最大的一條記錄。而外面就是查詢出除了rowid最大之外的其他重復的數據了。
由此,我們要刪除重復數據,只保留最新的一條數據,就可以這樣寫了:
deletefrom 表名 a
where a.rowid !=
(
selectmax(b.rowid) from 表名 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2
)
同理,上述代碼的執行效率畢竟低,所以我們可以考慮建立臨時表,將需要判斷重復的字段、rowid插入臨時表中,然后刪除的時候在進行比較。
createtable 臨時表 as
select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUPBY a.字段1,a.字段2;
deletefrom 表名 a
where a.rowid !=
(
select b.dataid from 臨時表 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2
);
commit;
----------------------------------------------------------三--------------------------------------------------------------------
比如現在有一人員表 (表名:peosons)
若想將姓名、身份證號、住址這三個字段完全相同的記錄查詢出來
select p1.*
from persons p1,persons p2
where p1.id<>p2.id
and p1.cardid = p2.cardid and p1.pname = p2.pname and p1.address= p2.address
可以實現上述效果。
幾個刪除重復記錄的SQL語句
1.用rowid方法
2.用group by方法
3.用distinct方法
1。用rowid方法
據據oracle帶的rowid屬性,進行判斷,是否存在重復,語句如下:
查數據:
select * from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2……)
刪數據:
delete from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2……)
2.group by方法
查數據:
select count(num), max(name) from student --列出重復的記錄數,並列出他的name屬性
group by num
having count(num) >1 --按num分組后找出表中num列重復,即出現次數大於一次
刪數據:
delete from student
group by num
having count(num) >1
這樣的話就把所有重復的都刪除了。
3.用distinct方法 -對於小的表比較有用
create table table_new as select distinct * from table1 minux
truncate table table1;
insert into table1 select * from table_new;
查詢及刪除重復記錄的方法大全
1、查找表中多余的重復記錄,重復記錄是根據單個字段(peopleId)來判斷
select * from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
2、刪除表中多余的重復記錄,重復記錄是根據單個字段(peopleId)來判斷,只留有rowid最小的記錄
delete from people
where peopleId in (select peopleId from people group by peopleId
having count(peopleId) > 1)
and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)
3、查找表中多余的重復記錄(多個字段)
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、刪除表中多余的重復記錄(多個字段),只留有rowid最小的記錄
delete from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
5、查找表中多余的重復記錄(多個字段),不包含rowid最小的記錄
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方說
在A表中存在一個字段“name”,
而且不同記錄之間的“name”值有可能會相同,
現在就是需要查詢出在該表中的各記錄之間,“name”值存在重復的項;
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果還查性別也相同大則如下:
Select Name,***,Count(*) From A Group By Name,*** Having Count(*) > 1
(三)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >; 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
"重復記錄"有兩個意義上的重復記錄,一是完全重復的記錄,也即所有字段均重復的記錄,二是部分關鍵字段重復的記錄,
比如Name字段重復,而其他字段不一定重復或都重復可以忽略。
1、對於第一種重復,比較容易解決,使用
select distinct * from tableName就可以得到無重復記錄的結果集。
如果該表需要刪除重復的記錄(重復記錄保留1條),可以按以下方法刪除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
發生這種重復的原因是表設計不周產生的,增加唯一索引列即可解決。
2、這類重復問題通常要求保留重復記錄中的第一條記錄,操作方法如下
假設有重復的字段為Name,Address,要求得到這兩個字段唯一的結果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一個select即得到了Name,Address不重復的結果集(但多了一個autoID字段,實際寫時可以寫在select子句中省去此列)
(四)
查詢重復
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)