MySQL 大批量插入，如何過濾掉重復數據？

CREATE TABLE `student` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


INSERT INTO `student` (`id`, `name`, `age`) VALUES ('1', 'cat', '12');
INSERT INTO `student` (`id`, `name`, `age`) VALUES ('2', 'dog', '13');
INSERT INTO `student` (`id`, `name`, `age`) VALUES ('3', 'camel', '25');
INSERT INTO `student` (`id`, `name`, `age`) VALUES ('4', 'cat', '32');
INSERT INTO `student` (`id`, `name`, `age`) VALUES ('5', 'dog', '42');

目標：我們要去掉name相同的數據。

先看看哪些數據重復了

SELECT name,count( 1 ) 
FROM
 student 
GROUP BY
NAME 
HAVING
 count( 1 ) > 1;

輸出：

name count(1) 
cat    2 
dog    2

name為cat和dog的數據重復了，每個重復的數據有兩條；

Select * From 表 Where 重復字段 In (Select 重復字段 From 表 Group By 重復字段 Having Count(1)>1)

刪除全部重復數據，一條不留

直接刪除會報錯

DELETE 
FROM
 student 
WHERE
 NAME IN (
 SELECT NAME 
 FROM
  student 
 GROUP BY
 NAME 
HAVING
 count( 1 ) > 1)

報錯：

1093 - You can't specify target table 'student' for update in FROM clause, Time: 0.016000s

原因是：更新這個表的同時又查詢了這個表，查詢這個表的同時又去更新了這個表，可以理解為死鎖。mysql不支持這種更新查詢同一張表的操作

解決辦法：把要更新的幾列數據查詢出來做為一個第三方表，然后篩選更新。

DELETE 
FROM
 student 
WHERE
 NAME IN (
 SELECT
  t.NAME 
FROM
 ( SELECT NAME FROM student GROUP BY NAME HAVING count( 1 ) > 1 ) t )

刪除表中刪除重復數據，僅保留一條

在刪除之前，我們可以先查一下，我們要刪除的重復數據是啥樣的

SELECT
 * 
FROM
 student 
WHERE
 id NOT IN (
 SELECT
  t.id 
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t )

啥意思呢，就是先通過name分組，查出id最小的數據，這些數據就是我們要留下的火種，那么再查詢出id不在這里面的，就是我們要刪除的重復數據。

開始刪除重復數據，僅留一條

很簡單，剛才的select換成delete即可

DELETE 
FROM
 student 
WHERE
 id NOT IN (
 SELECT
  t.id 
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t )

https://mp.weixin.qq.com/s/fszuGvCEjLA7pphF8TG8Vw

https://mp.weixin.qq.com/s/9yK6Lt6HUk1Cv7gZcDIVHA