HashMap的resize方法中尾部遍歷出現死循環問題 Tail Traversing (多線程)


 正文前先來一波福利推薦:

 福利一:

百萬年薪架構師視頻,該視頻可以學到很多東西,是本人花錢買的VIP課程,學習消化了一年,為了支持一下女朋友公眾號也方便大家學習,共享給大家。

福利二:

畢業答辯以及工作上各種答辯,平時積累了不少精品PPT,現在共享給大家,大大小小加起來有幾千套,總有適合你的一款,很多是網上是下載不到。

獲取方式:

微信關注 精品3分鍾 ,id為 jingpin3mins,關注后回復   百萬年薪架構師 ,精品收藏PPT  獲取雲盤鏈接,謝謝大家支持!

-----------------------正文開始---------------------------

 

一、背景介紹:

在看HashMap源碼是看到了resize()的源代碼,當時發現在將old鏈表中引用數據復制到新的鏈表中時,發現復制過程中時,源碼是進行了反序,此時是允許反序存儲的,同時這樣設計的效率要高,不用采用尾部插入,每次都要遍歷到尾部。
下面對該原理進行總結:
JDK1.7的HashMap在實現resize()時,新table[]的列表采用LIFO方式,即隊頭插入。這樣做的目的是:避免尾部遍歷。尾部遍歷是為了避免在新列表插入數據時,遍歷隊尾的位置。因為,直接插入的效率更高。
直接采用隊頭插入,會使得鏈表數據倒序
例如原來順序是:
10  20  30  40
插入順序如下
10
20  10
30 20 10
40 30 20 10

二、存在的問題:

采用隊頭插入的方式,導致了HashMap在“多線程環境下”的死循環問題

問題的症狀

從前我們的Java代碼因為一些原因使用了HashMap這個東西,但是當時的程序是單線程的,一切都沒有問題。后來,我們的程序性能有問題,所以需要變成多線程的,於是,變成多線程后到了線上,發現程序經常占了100%的CPU,查看堆棧,你會發現程序都Hang在了HashMap.get()這個方法上了,重啟程序后問題消失。但是過段時間又會來。而且,這個問題在測試環境里可能很難重現。

我們簡單的看一下我們自己的代碼,我們就知道HashMap被多個線程操作。而Java的文檔說HashMap是非線程安全的,應該用ConcurrentHashMap。

但是在這里我們可以來研究一下原因。

 

Hash表數據結構

HashMap通常會用一個指針數組(假設為table[])來做分散所有的key,當一個key被加入時,會通過Hash算法通過key算出這個數組的下標i,然后就把這個<key, value>插到table[i]中,如果有兩個不同的key被算在了同一個i,那么就叫沖突,又叫碰撞,這樣會在table[i]上形成一個鏈表。

我們知道,如果table[]的尺寸很小,比如只有2個,如果要放進10個keys的話,那么碰撞非常頻繁,於是一個O(1)的查找算法,就變成了鏈表遍歷,性能變成了O(n),這是Hash表的缺陷。

所以,Hash表的尺寸和容量非常的重要。一般來說,Hash表這個容器當有數據要插入時,都會檢查容量有沒有超過設定的thredhold,如果超過,需要增大Hash表的尺寸,但是這樣一來,整個Hash表里的無素都需要被重算一遍。這叫rehash,這個成本相當的大。

相信大家對這個基礎知識已經很熟悉了。

HashMap的rehash源代碼

void transfer(Entry[] newTable, boolean rehash) {
        int newCapacity = newTable.length;
     //for循環中的代碼,逐個遍歷鏈表,重新計算索引位置,將老數組數據復制到新數組中去(數組不存儲實際數據,所以僅僅是拷貝引用而已)和 arraylist 或者 linkedlist 中的clone方法是一樣的 都是淺拷貝關系
        foreach (Entry<K,V> e : table) {
            while(null != e) {
                Entry<K,V> next = e.next;
                if (rehash) {
                    e.hash = null == e.key ? 0 : hash(e.key);
                }
                int i = indexFor(e.hash, newCapacity);
          //將當前entry的next鏈指向新的索引位置,newTable[i]有可能為空,有可能也是個entry鏈,如果是entry鏈,直接在鏈表頭部插入。
          //第一次時 newTable[i] = null
e.next = newTable[i]; newTable[i] = e; e = next; } } }

 

好了,這個代碼算是比較正常的。而且沒有什么問題。

正常的ReHash的過程

畫了個圖做了個演示。

  • 我假設了我們的hash算法就是簡單的用key mod 一下表的大小(也就是數組的長度)。
  • 最上面的是old hash 表,其中的Hash表的size=2, 所以key = 3, 7, 5,在mod 2以后都沖突在table[1]這里了。
  • 接下來的三個步驟是Hash表 resize成4,然后所有的<key,value> 重新rehash的過程

並發下的Rehash

1)假設我們有兩個線程。我用紅色和淺藍色標注了一下。

我們再回頭看一下我們的 transfer代碼中的這個細節:

  

int i = indexFor(e.hash, newCapacity); //假設線程一執行到這 失去了運行權限
//將當前entry的next鏈指向新的索引位置,newTable[i]有可能為空,有可能也是個entry鏈,如果是entry鏈,直接在鏈表頭部插入。
//第一次時 newTable[i] = null

e.next = newTable[i];
newTable[i] = e;
e = next;

 

而我們的線程二執行完成了。於是我們有下面的這個樣子。

注意,因為Thread1的 e 指向了key(3),而next指向了key(7),其在線程二rehash后,指向了線程二重組后的鏈表。我們可以看到鏈表的順序被反轉后。

2)線程一被調度回來執行。

  • 先是執行 newTalbe[i] = e;
  • 然后是e = next,導致了e指向了key(7),
  • 而下一次循環的next = e.next導致了next指向了key(3)

3)一切安好。

線程一接着工作。把key(7)摘下來,放到newTable[i]的第一個,然后把e和next往下移。

4)環形鏈接出現。

e.next = newTable[i] 導致  key(3).next 指向了 key(7)

注意:此時的key(7).next 已經指向了key(3), 環形鏈表就這樣出現了。

於是,當我們的線程一調用到,HashTable.get(11)時,悲劇就出現了——Infinite Loop。

 

三、問題解決:

JDK1.8的優化
通過增加tail指針,既避免了死循環問題(讓數據直接插入到隊尾),又避免了尾部遍歷。
個人感覺這個改進就好多了,在jdk1.8的 LinkedList 類中  也是通過 一個 頭 和 尾 來實現設計,這樣既避免了出錯,又提高了操作效率。
代碼如下:
 if (oldTab != null) {
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                if ((e = oldTab[j]) != null) {
                    oldTab[j] = null;
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    else { // preserve order
                        Node<K,V> loHead = null, loTail = null;    // JDK1.8改進了rehash算法,擴容時,容量翻倍,新擴容部分,標識為hi,原來old的部分標識為lo
                        Node<K,V> hiHead = null, hiTail = null;    // 聲明了隊尾和隊頭指針。
                        Node<K,V> next;
                        do {
                            next = e.next;
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM