一、問題由來
在實際開發的時候，我們經常會碰到這么一個問題：一個集合容器里面有很多重復的對象，里面的對象沒有主鍵，或者說忽略主鍵，根據業務的需求，我們需要根據條件篩選出沒有重復的對象。
二、去重操作
1.通過兩層循環去重
通過兩層循環來進行判斷，沒有重復的元素就加入到新集合中，新集合中已經有的元素就跳過。
實體類使用Lombok注解，推薦閱讀：Lombok使用指南
實體：
@Data @NoArgsConstructor @AllArgsConstructor public class Animal { private String category; // 類別 private String species; // 種類 }
測試：
public static void main(String[] args) { // 添加信息，Animal中沒有主鍵 List<Animal> animalList = new ArrayList<Animal>(); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狼")); animalList.add(new Animal("貓科","貓")); animalList.add(new Animal("貓科","豹")); // 新數據集合 List<Animal> newAnimalList = new ArrayList<Animal>(); // 傳統重復判斷 for (Animal animal : animalList) { if(newAnimalList.isEmpty()){ newAnimalList.add(animal); }else{ boolean isSame = false; for (Animal newAnimal : newAnimalList) { // 如果新集合包含元素，直接跳過 if(animal.getCategory().equals(newAnimal.getCategory()) && animal.getSpecies().equals(newAnimal.getSpecies())){ isSame = true; break; } } if(!isSame){ newAnimalList.add(animal); } } } // 輸出結果 for (Animal animal : newAnimalList) { System.out.println(animal.toString()); } }
輸出結果：
Animal(category=犬科, species=狗) Animal(category=犬科, species=狼) Animal(category=貓科, species=貓) Animal(category=貓科, species=豹)
一般處理數組類型的對象時，可以通過這種方法來對數組元素進行去重操作，以篩選出沒有包含重復元素的數組。
2.利用list中contains()方法去重
在使用contains()之前，必須要對Animal類重寫equals()方法，如果Animal對象不重寫equals()，contains()方法的都是false！新數據與源數據是一樣的，並不能達到我們想要除去重復元素的目的。
那么contains()是怎么做到，判斷一個集合里面有相同的元素呢？
我們打開ArrayList中contains()方法，源碼如下：
public boolean contains(Object o) { return indexOf(o) >= 0; }
找到indexOf(o)方法，源碼如下：
public int indexOf(Object o) { if (o == null) { for (int i = 0; i < size; i++) if (elementData[i]==null) return i; } else { for (int i = 0; i < size; i++) //對象通過 equals 方法，判斷是否相同 if (o.equals(elementData[i])) return i; } return -1; }
如果傳入的對象是null，for循環判斷數組中的元素是否有null，如果有就返回下標；如果傳入的對象不是null，通過對象的equals()方法，for循環判斷是否有相同的元素，如果有就返回下標！
如果是數組返回的下標，肯定是大於0，否則返回-1！
這就是為什么在List中使用contains()方法，對象需要重寫equals()方法的原因！
重寫equals():
@Override
public boolean equals(Object o) {
if (this == o) {
return true;
}
if (o == null || getClass() != o.getClass()) {
return false;
}
Animal animal = (Animal) o;
// 當category、species 內容都相等的時候，才返回true
return Objects.equals(category, animal.category) && Objects.equals(species, animal.species);
}
測試：
public static void main(String[] args) { // 添加信息，Animal中沒有主鍵 List<Animal> animalList = new ArrayList<Animal>(); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狼")); animalList.add(new Animal("貓科","貓")); animalList.add(new Animal("貓科","豹")); // 新數據集合 List<Animal> newAnimalList = new ArrayList<Animal>(); // 使用contain判斷，是否有相同的元素 for (Animal animal: animalList) { if(!newAnimalList.contains(animal)){ newAnimalList.add(animal); } } // 輸出結果 for (Animal animal : newAnimalList) { System.out.println(animal.toString()); } }
輸出結果：
Animal(category=犬科, species=狗) Animal(category=犬科, species=狼) Animal(category=貓科, species=貓) Animal(category=貓科, species=豹)
3.使用java 8中的Stream.distinct()去重
使用JDK1.8 中的流式寫法，利用 jdk1.8 中提供的Stream.distinct()列表去重，Stream.distinct()使用hashCode()和equals()方法來獲取不同的元素，因此使用這種寫法，對象需要重寫hashCode()和equals()方法！
重寫hashCode()方法：
@Override
public int hashCode() {
return Objects.hash(category, category);
}
測試：
public static void main(String[] args) { // 添加信息，Animal中沒有主鍵 List<Animal> animalList = new ArrayList<Animal>(); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狼")); animalList.add(new Animal("貓科","貓")); animalList.add(new Animal("貓科","豹")); //使用java8新特性stream進行List去重 List<Animal> newAnimalList = animalList.stream().distinct().collect(Collectors.toList()); // 輸出結果 for (Animal animal : newAnimalList) { System.out.println(animal.toString()); } }
輸出結果：
Animal(category=犬科, species=狗) Animal(category=犬科, species=狼) Animal(category=貓科, species=貓) Animal(category=貓科, species=豹)
4.利用HashSet去重
HashSet集合天然支持元素不重復！需要同時重寫Object中的equals()和hashCode()方法
@Data @NoArgsConstructor @AllArgsConstructor public class Animal { private String category; // 類別 private String species; // 種類 @Override public boolean equals(Object o) { if (this == o) { return true; } if (o == null || getClass() != o.getClass()) { return false; } Animal animal = (Animal) o; // 當category、species 內容都相等的時候，才返回true return Objects.equals(category, animal.category) && Objects.equals(species, animal.species); } @Override public int hashCode() { return Objects.hash(category, category); } }
測試：
public static void main(String[] args) { // 添加信息，Animal中沒有主鍵 List<Animal> animalList = new ArrayList<Animal>(); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狗")); animalList.add(new Animal("犬科","狼")); animalList.add(new Animal("貓科","貓")); animalList.add(new Animal("貓科","豹")); // 新數據集合 List<Animal> newAnimalList = new ArrayList<Animal>(); //set去重 HashSet<Animal> set = new HashSet<>(animalList); newAnimalList.addAll(set); // 輸出結果 for (Animal animal : newAnimalList) { System.out.println(animal.toString()); } }
輸出結果：
Animal(category=犬科, species=狗) Animal(category=犬科, species=狼) Animal(category=貓科, species=貓) Animal(category=貓科, species=豹)
打開HashSet的源碼，查看我們傳入的構造方法如下：
public HashSet(Collection<? extends E> c) { map = new HashMap<>(Math.max((int) (c.size()/.75f) + 1, 16)); addAll(c); }
首先創建了一個HashMap對象，然后調用addAll()方法
public boolean addAll(Collection<? extends E> c) { boolean modified = false; for (E e : c) if (add(e)) modified = true; return modified; }
首先遍歷List中的元素，然后調用add()方法，這個方法，源碼如下：
public boolean add(E e) { return map.put(e, PRESENT)==null; }
其實，就是向HashMap對象中插入元素，其中PRESENT是一個new Object()常量！
private static final Object PRESENT = new Object();
到這里就基本很清楚了，向HashSet中添加元素，其實等同於
Map<Object,Object> map = new HashMap<Object,Object>(); map.put(e,new Object);//e表示要插入的元素
其中插入的元素e，就是HashMap中的key！
我們知道HashMap，是通過equals()和hashCode()來判斷插入的key是否為同一個key，因此，當我們對Animal對象進行重寫equals()和hashCode()時，保證判斷是同一個key時，就可以達到元素去重的目的！
最后，對已經去重的集合HashSet，再通過ArrayList中的addAll()方法進行包裝，即可得到我們想要的不包含重復元素的數據！