fail-fast機制

先了解一些詞語

volatile：volatile的本意是“易變的”。volatile關鍵字是一種類型修飾符，用它聲明的類型變量表示可以被某些編譯器未知的因素更改，比如：操作系統、硬件或者其它線程等。遇到這個關鍵字聲明的變量，編譯器對訪問該變量的代碼就不再進行優化，從而可以提供對特殊地址的穩定訪問。當要求使用volatile 聲明的變量的值的時候，系統總是重新從它所在的內存讀取數據，即使它前面的指令剛剛從該處讀取過數據。而且讀取的數據立刻被保存。volatile 指出 i是隨時可能發生變化的，每次使用它的時候必須從i的地址中讀取。對於volatile類型的變量，系統每次用到他的時候都是直接從對應的內存當中提取，而不會利用cache當中的原有數值，以適應它的未知何時會發生的變化。

fail-fast 機制是java集合(Collection)中的一種錯誤機制。當多個線程對同一個集合的內容進行操作時，就可能會產生fail-fast事件。
例如：當某一個線程A通過iterator去遍歷某集合的過程中，若該集合的內容被其他線程所改變了；那么線程A訪問集合時，就會拋出ConcurrentModificationException異常，產生fail-fast事件。在詳細介紹fail-fast機制的原理之前，先通過一個示例來認識fail-fast。

 

import java.util.*;
import java.util.concurrent.*;

/*
 * @desc java集合中Fast-Fail的測試程序。
 *
 *   fast-fail事件產生的條件：當多個線程對Collection進行操作時，若其中某一個線程通過iterator去遍歷集合時，該集合的內容被其他線程所改變；則會拋出ConcurrentModificationException異常。
 *   fast-fail解決辦法：通過util.concurrent集合包下的相應類去處理，則不會產生fast-fail事件。
 *
 *   本例中，分別測試ArrayList和CopyOnWriteArrayList這兩種情況。ArrayList會產生fast-fail事件，而CopyOnWriteArrayList不會產生fast-fail事件。
 *   (01) 使用ArrayList時，會產生fast-fail事件，拋出ConcurrentModificationException異常；定義如下：
 *            private static List<String> list = new ArrayList<String>();
 *   (02) 使用時CopyOnWriteArrayList，不會產生fast-fail事件；定義如下：
 *            private static List<String> list = new CopyOnWriteArrayList<String>();
 *
 * @author skywang
 */
public class FastFailTest {

    private static List<String> list = new ArrayList<String>();
    //private static List<String> list = new CopyOnWriteArrayList<String>();
    public static void main(String[] args) {
    
        // 同時啟動兩個線程對list進行操作！
        new ThreadOne().start();
        new ThreadTwo().start();
    }

    private static void printAll() {
        System.out.println("");

        String value = null;
        Iterator iter = list.iterator();
        while(iter.hasNext()) {
            value = (String)iter.next();
            System.out.print(value+", ");
        }
    }

    /**
     * 向list中依次添加0,1,2,3,4,5，每添加一個數之后，就通過printAll()遍歷整個list
     */
    private static class ThreadOne extends Thread {
        public void run() {
            int i = 0;
            while (i<6) {
                list.add(String.valueOf(i));
                printAll();
                i++;
            }
        }
    }

    /**
     * 向list中依次添加10,11,12,13,14,15，每添加一個數之后，就通過printAll()遍歷整個list
     */
    private static class ThreadTwo extends Thread {
        public void run() {
            int i = 10;
            while (i<16) {
                list.add(String.valueOf(i));
                printAll();
                i++;
            }
        }
    }

}

 

運行結果：
運行該代碼，拋出異常java.util.ConcurrentModificationException！即，產生fail-fast事件！

結果說明：
(01) FastFailTest中通過 new ThreadOne().start() 和 new ThreadTwo().start() 同時啟動兩個線程去操作list。
    ThreadOne線程：向list中依次添加0,1,2,3,4,5。每添加一個數之后，就通過printAll()遍歷整個list。
    ThreadTwo線程：向list中依次添加10,11,12,13,14,15。每添加一個數之后，就通過printAll()遍歷整個list。
(02) 當某一個線程遍歷list的過程中，list的內容被另外一個線程所改變了；就會拋出ConcurrentModificationException異常，產生fail-fast事件。

 

fail-fast解決辦法

fail-fast機制，是一種錯誤檢測機制。它只能被用來檢測錯誤，因為JDK並不保證fail-fast機制一定會發生。若在多線程環境下使用fail-fast機制的集合，建議使用“java.util.concurrent包下的類”去取代“java.util包下的類”。
所以，本例中只需要將ArrayList替換成java.util.concurrent包下對應的類即可。

fail-fast原理

產生fail-fast事件，是通過拋出ConcurrentModificationException異常來觸發的。
那么，ArrayList是如何拋出ConcurrentModificationException異常的呢?

我們知道，ConcurrentModificationException是在操作Iterator時拋出的異常。我們先看看Iterator的源碼。ArrayList的Iterator是在父類AbstractList.java中實現的。代碼如下：

package java.util;

public abstract class AbstractList<E> extends AbstractCollection<E> implements List<E> {

    ...

    // AbstractList中唯一的屬性
    // 用來記錄List修改的次數：每修改一次(添加/刪除等操作)，將modCount+1
    protected transient int modCount = 0;

    // 返回List對應迭代器。實際上，是返回Itr對象。
    public Iterator<E> iterator() {
        return new Itr();
    }

    // Itr是Iterator(迭代器)的實現類
    private class Itr implements Iterator<E> {
        int cursor = 0;

        int lastRet = -1;

        // 修改數的記錄值。
        // 每次新建Itr()對象時，都會保存新建該對象時對應的modCount；
        // 以后每次遍歷List中的元素的時候，都會比較expectedModCount和modCount是否相等；
        // 若不相等，則拋出ConcurrentModificationException異常，產生fail-fast事件。
        int expectedModCount = modCount;

        public boolean hasNext() {
            return cursor != size();
        }

        public E next() {
            // 獲取下一個元素之前，都會判斷“新建Itr對象時保存的modCount”和“當前的modCount”是否相等；
            // 若不相等，則拋出ConcurrentModificationException異常，產生fail-fast事件。
            checkForComodification();
            try {
                E next = get(cursor);
                lastRet = cursor++;
                return next;
            } catch (IndexOutOfBoundsException e) {
                checkForComodification();
                throw new NoSuchElementException();
            }
        }

        public void remove() {
            if (lastRet == -1)
                throw new IllegalStateException();
            checkForComodification();

            try {
                AbstractList.this.remove(lastRet);
                if (lastRet < cursor)
                    cursor--;
                lastRet = -1;
                expectedModCount = modCount;
            } catch (IndexOutOfBoundsException e) {
                throw new ConcurrentModificationException();
            }
        }

        final void checkForComodification() {
            if (modCount != expectedModCount)
                throw new ConcurrentModificationException();
        }
    }

    ...
}

從中，我們可以發現在調用 next() 和 remove()時，都會執行 checkForComodification()。若 “modCount 不等於 expectedModCount”，則拋出ConcurrentModificationException異常，產生fail-fast事件。

要搞明白 fail-fast機制，我們就要需要理解什么時候“modCount 不等於 expectedModCount”！
從Itr類中，我們知道 expectedModCount 在創建Itr對象時，被賦值為 modCount。通過Itr，我們知道：expectedModCount不可能被修改為不等於 modCount。所以，需要考證的就是modCount何時會被修改。

接下來，我們查看ArrayList的源碼，來看看modCount是如何被修改的。

package java.util;

public class ArrayList<E> extends AbstractList<E>
        implements List<E>, RandomAccess, Cloneable, java.io.Serializable
{

    ...

    // list中容量變化時，對應的同步函數
    public void ensureCapacity(int minCapacity) {
        modCount++;
        int oldCapacity = elementData.length;
        if (minCapacity > oldCapacity) {
            Object oldData[] = elementData;
            int newCapacity = (oldCapacity * 3)/2 + 1;
            if (newCapacity < minCapacity)
                newCapacity = minCapacity;
            // minCapacity is usually close to size, so this is a win:
            elementData = Arrays.copyOf(elementData, newCapacity);
        }
    }


    // 添加元素到隊列最后
    public boolean add(E e) {
        // 修改modCount
        ensureCapacity(size + 1);  // Increments modCount!!
        elementData[size++] = e;
        return true;
    }


    // 添加元素到指定的位置
    public void add(int index, E element) {
        if (index > size || index < 0)
            throw new IndexOutOfBoundsException(
            "Index: "+index+", Size: "+size);

        // 修改modCount
        ensureCapacity(size+1);  // Increments modCount!!
        System.arraycopy(elementData, index, elementData, index + 1,
             size - index);
        elementData[index] = element;
        size++;
    }

    // 添加集合
    public boolean addAll(Collection<? extends E> c) {
        Object[] a = c.toArray();
        int numNew = a.length;
        // 修改modCount
        ensureCapacity(size + numNew);  // Increments modCount
        System.arraycopy(a, 0, elementData, size, numNew);
        size += numNew;
        return numNew != 0;
    }
   

    // 刪除指定位置的元素 
    public E remove(int index) {
        RangeCheck(index);

        // 修改modCount
        modCount++;
        E oldValue = (E) elementData[index];

        int numMoved = size - index - 1;
        if (numMoved > 0)
            System.arraycopy(elementData, index+1, elementData, index, numMoved);
        elementData[--size] = null; // Let gc do its work

        return oldValue;
    }


    // 快速刪除指定位置的元素 
    private void fastRemove(int index) {

        // 修改modCount
        modCount++;
        int numMoved = size - index - 1;
        if (numMoved > 0)
            System.arraycopy(elementData, index+1, elementData, index,
                             numMoved);
        elementData[--size] = null; // Let gc do its work
    }

    // 清空集合
    public void clear() {
        // 修改modCount
        modCount++;

        // Let gc do its work
        for (int i = 0; i < size; i++)
            elementData[i] = null;

        size = 0;
    }

    ...
}

從中，我們發現：無論是add()、remove()，還是clear()，只要涉及到修改集合中的元素個數時，都會改變modCount的值。

接下來，我們再系統的梳理一下fail-fast是怎么產生的。步驟如下：
(01) 新建了一個ArrayList，名稱為arrayList。
(02) 向arrayList中添加內容。
(03) 新建一個“線程a”，並在“線程a”中通過Iterator反復的讀取arrayList的值。
(04) 新建一個“線程b”，在“線程b”中刪除arrayList中的一個“節點A”。
(05) 這時，就會產生有趣的事件了。
       在某一時刻，“線程a”創建了arrayList的Iterator。此時“節點A”仍然存在於arrayList中，創建arrayList時，expectedModCount = modCount(假設它們此時的值為N)。
       在“線程a”在遍歷arrayList過程中的某一時刻，“線程b”執行了，並且“線程b”刪除了arrayList中的“節點A”。“線程b”執行remove()進行刪除操作時，在remove()中執行了“modCount++”，此時modCount變成了N+1！
“線程a”接着遍歷，當它執行到next()函數時，調用checkForComodification()比較“expectedModCount”和“modCount”的大小；而“expectedModCount=N”，“modCount=N+1”,這樣，便拋出ConcurrentModificationException異常，產生fail-fast事件。

至此，我們就完全了解了fail-fast是如何產生的！
即，當多個線程對同一個集合進行操作的時候，某線程訪問集合的過程中，該集合的內容被其他線程所改變(即其它線程通過add、remove、clear等方法，改變了modCount的值)；這時，就會拋出ConcurrentModificationException異常，產生fail-fast事件。

上面，說明了“解決fail-fast機制的辦法”，也知道了“fail-fast產生的根本原因”。接下來，聊聊並發-Java中的Copy-On-Write容器

Copy-On-Write簡稱COW，是一種用於程序設計中的優化策略。其基本思路是，從一開始大家都在共享同一個內容，當某個人想要修改這個內容的時候，才會真正把內容Copy出去形成一個新的內容然后再改，這是一種延時懶惰策略。從JDK1.5開始Java並發包里提供了兩個使用CopyOnWrite機制實現的並發容器,它們是CopyOnWriteArrayList和CopyOnWriteArraySet。CopyOnWrite容器非常有用，可以在非常多的並發場景中使用到。

什么是CopyOnWrite容器

CopyOnWrite容器即寫時復制的容器。通俗的理解是當我們往一個容器添加元素的時候，不直接往當前容器添加，而是先將當前容器進行Copy，復制出一個新的容器，然后新的容器里添加元素，添加完元素之后，再將原容器的引用指向新的容器。這樣做的好處是我們可以對CopyOnWrite容器進行並發的讀，而不需要加鎖，因為當前容器不會添加任何元素。所以CopyOnWrite容器也是一種讀寫分離的思想，讀和寫不同的容器。

 

CopyOnWriteArrayList的實現原理

在使用CopyOnWriteArrayList之前，我們先閱讀其源碼了解下它是如何實現的。以下代碼是向ArrayList里添加元素，可以發現在添加的時候是需要加鎖的，否則多線程寫的時候會Copy出N個副本出來

public boolean add(T e) {
    final ReentrantLock lock = this.lock;
    lock.lock();
    try {

        Object[] elements = getArray();

        int len = elements.length;
        // 復制出新數組

        Object[] newElements = Arrays.copyOf(elements, len + 1);
        // 把新元素添加到新數組里

        newElements[len] = e;
        // 把原數組引用指向新數組

        setArray(newElements);

        return true;

    } finally {

        lock.unlock();

    }

}

final void setArray(Object[] a) {
    array = a;
}

讀的時候不需要加鎖，如果讀的時候有多個線程正在向ArrayList添加數據，讀還是會讀到舊的數據，因為寫的時候不會鎖住舊的ArrayList。

public E get(int index) {
    return get(getArray(), index);
}

CopyOnWrite的應用場景

CopyOnWrite並發容器用於讀多寫少的並發場景。比如白名單，黑名單，商品類目的訪問和更新場景，假如我們有一個搜索網站，用戶在這個網站的搜索框中，輸入關鍵字搜索內容，但是某些關鍵字不允許被搜索。這些不能被搜索的關鍵字會被放在一個黑名單當中，黑名單每天晚上更新一次。當用戶搜索時，會檢查當前關鍵字在不在黑名單當中，如果在，則提示不能搜索。實現代碼如下：

package com.ifeve.book;

import java.util.Map;

import com.ifeve.book.forkjoin.CopyOnWriteMap;

/**
 * 黑名單服務
 *
 * @author fangtengfei
 *
 */
public class BlackListServiceImpl {

    private static CopyOnWriteMap<String, Boolean> blackListMap = new CopyOnWriteMap<String, Boolean>(
            1000);

    public static boolean isBlackList(String id) {
        return blackListMap.get(id) == null ? false : true;
    }

    public static void addBlackList(String id) {
        blackListMap.put(id, Boolean.TRUE);
    }

    /**
     * 批量添加黑名單
     *
     * @param ids
     */
    public static void addBlackList(Map<String,Boolean> ids) {
        blackListMap.putAll(ids);
    }

}

代碼很簡單，但是使用CopyOnWriteMap需要注意兩件事情：

1. 減少擴容開銷。根據實際需要，初始化CopyOnWriteMap的大小，避免寫時CopyOnWriteMap擴容的開銷。

2. 使用批量添加。因為每次添加，容器每次都會進行復制，所以減少添加次數，可以減少容器的復制次數。如使用上面代碼里的addBlackList方法。

CopyOnWrite的缺點

CopyOnWrite容器有很多優點，但是同時也存在兩個問題，即內存占用問題和數據一致性問題。所以在開發的時候需要注意一下。

內存占用問題。因為CopyOnWrite的寫時復制機制，所以在進行寫操作的時候，內存里會同時駐扎兩個對象的內存，舊的對象和新寫入的對象（注意:在復制的時候只是復制容器里的引用，只是在寫的時候會創建新對象添加到新容器里，而舊容器的對象還在使用，所以有兩份對象內存）。如果這些對象占用的內存比較大，比如說200M左右，那么再寫入100M數據進去，內存就會占用300M，那么這個時候很有可能造成頻繁的Yong GC和Full GC。之前我們系統中使用了一個服務由於每晚使用CopyOnWrite機制更新大對象，造成了每晚15秒的Full GC，應用響應時間也隨之變長。頻繁的GC是因為修改CopyOnWriteArrayList里大量的元素造成的。兩份對象內存是指修改前和修改后兩個元素內存。

針對內存占用問題，可以通過壓縮容器中的元素的方法來減少大對象的內存消耗，比如，如果元素全是10進制的數字，可以考慮把它壓縮成36進制或64進制。或者不使用CopyOnWrite容器，而使用其他的並發容器，如ConcurrentHashMap。

數據一致性問題。CopyOnWrite容器只能保證數據的最終一致性，不能保證數據的實時一致性。所以如果你希望寫入的的數據，馬上能讀到，請不要使用CopyOnWrite容器。