（轉）如何實現刪除重復記錄並且只保留一條？

最近，在做題庫系統，由於在題庫中添加了重復的試題，所以需要查詢出重復的試題，並且刪除掉重復的試題只保留其中1條，以保證考試的時候抽不到重復的題。

首先寫了一個小的例子：

一、單個字段的操作

 

這是數據庫中的表：

 

分組介紹

 

 

Select 重復字段 From 表 Group By 重復字段 Having Count(*)>1

查看是否有重復的數據：

• GROUP BY <列名序列>

• HAVING <組條件表達式>

查詢出：根據dname分組，同時滿足having字句中組條件表達式（重復次數大於1）的那些組
count(*)與count(1) 其實沒有什么差別，用哪個都可以
count(*)與count（列名）的區別：

count(*)將返回表格中所有存在的行的總數包括值為null的行，然而count(列名)將返回表格中除去null以外的所有行的總數(有默認值的列也會被計入）。

1. 查詢全部重復的數據

 

 

Select * From 表 Where 重復字段 In (Select 重復字段 From 表 Group By 重復字段 Having Count(*)>1)

 

2. 刪除全部重復試題

 

將上面的查詢select改為delete（這樣會出錯的）

 

DELETEFROM deptWHERE dname IN ( SELECT dname FROM dept GROUP BY dname HAVING count(1) > 1 )

會出現如下錯誤：[Err] 1093 - You can't specify target table 'dept' for update in FROM clause

原因是：更新這個表的同時又查詢了這個表，查詢這個表的同時又去更新了這個表，可以理解為死鎖。mysql不支持這種更新查詢同一張表的操作
解決辦法：把要更新的幾列數據查詢出來做為一個第三方表，然后篩選更新。

 

3. 查詢表中多余重復試題（根據depno來判斷，除了rowid最小的一個）

 

a. 第一種方法

 

 

SELECT *FROM deptWHERE dname IN ( SELECT dname FROM dept GROUP BY dname HAVING COUNT(1) > 1 )AND deptno NOT IN ( SELECT MIN(deptno) FROM dept GROUP BY dname HAVING COUNT(1) > 1)

 上面這種寫法正確，但是查詢的速度太慢，可以試一下下面這種方法：

b. 第二種方法

 

根據dname分組，查找出deptno最小的。然后再查找deptno不包含剛才查出來的。這樣就查詢出了所有的重復數據（除了deptno最小的那行）。

SELECT *FROM deptWHERE deptno NOT IN ( SELECT dt.minno FROM ( SELECT MIN(deptno) AS minno FROM dept GROUP BY dname ) dt )

補充第三種方法

SELECT * FROM table_name AS ta WHERE ta.唯一鍵 <> ( SELECT max( tb.唯一鍵 ) FROM table_name AS tb WHERE ta.判斷重復的列 = tb.判斷重復的列 );

4. 刪除表中多余重復試題並且只留1條

 

a. 第一種方法

DELETEFROM deptWHERE dname IN ( SELECT t.dname FROM ( SELECT dname FROM dept GROUP BY dname HAVING count(1) > 1 ) t )AND deptno NOT IN (SELECT dt.mindeptnoFROM ( SELECT min(deptno) AS mindeptno FROM dept GROUP BY dname HAVING count(1) > 1 ) dt)

b. 第二種方法（與上面查詢的第二種方法對應，只是將select改為delete）

DELETEFROM deptWHERE deptno NOT IN ( SELECT dt.minno FROM ( SELECT MIN(deptno) AS minno FROM dept GROUP BY dname ) dt )

c. 補充第三種方法（評論區推薦的一種方法）

DELETE FROM table_name AS ta WHERE ta.唯一鍵 <> (SELECT t.maxid FROM ( SELECT max( tb.唯一鍵 ) AS maxid FROM table_name AS tb WHERE ta.判斷重復的列 = tb.判斷重復的列 ) t  );

二、多個字段的操作

 

單個字段的如果會了，多個字段也非常簡單。就是將group by 的字段增加為你想要的即可。
此處只寫一個，其他方法請仿照一個字段的寫即可。

DELETEFROM deptWHERE (dname, db_source) IN ( SELECT t.dname, t.db_source FROM ( SELECT dname, db_source FROM dept GROUP BY dname, db_source HAVING count(1) > 1 ) t )AND deptno NOT IN ( SELECT dt.mindeptno FROM ( SELECT min(deptno) AS mindeptno FROM dept GROUP BY dname, db_source HAVING count(1) > 1 ) dt)

 

# 總結

 

其實上面的方法還有很多需要優化的地方，如果數據量太大的話，執行起來很慢，可以考慮加優化一下：

• 在經常查詢的字段上加上索引

• 將*改為你需要查詢出來的字段，不要全部查詢出來

• 小表驅動大表用IN，大表驅動小表用EXISTS。IN適合的情況是外表數據量小的情況，而不是外表數據大的情況，因為IN會遍歷外表的全部數據，假設a表100條，b表10000條那么遍歷次數就是100*10000次，而exists則是執行100次去判斷a表中的數據是否在b表中存在，它只執行了a.length次數。至於哪一個效率高是要看情況的，因為in是在內存中比較的，而exists則是進行數據庫查詢操作的。

來自 <https://mp.weixin.qq.com/s?__biz=MzI1NTI3MzEwMg==&mid=2247497581&idx=2&sn=f1d83404321df1202b1cfaf6b3ca70eb&key=e8cdb0d2f3a598d60d8f4f005d6dd966a56addae5fa4dd6c0b3f3fc907959b04762d494aacd2f783b206f946a6894dd8c3acff4e60b4b634543acf3bf70a259fffb432716b98ff786e6e550b38e9c1bbe6543105c645f6ec0f0244778d28621bff9fc1178da2a61a5990fc6cd4459778a007c418073cf9b4913b0b0bc2a20cf9&ascene=1&uin=MTEyNDIwNzM3MA%3D%3D&devicetype=Windows+10+x64&version=63010029&lang=zh_CN&exportkey=AesyJEKNbu7D%2FKWNHQGaoaQ%3D&pass_ticket=tEi2ohlq0ahox6Bs49O0AGREVr01MTVxNfokqrf65rvJAfZO%2BuOWrYWIPPGA8XEB&wx_header=0&fontgear=2>

來自