程序的運行,其本質上,是對系統資源(CPU、內存、磁盤、網絡等等)的使用。如何高效的使用這些資源是我們編程優化演進的一個方向。今天說的線程池就是一種對CPU利用的優化手段。
通過學習線程池原理,明白所有池化技術的基本設計思路。遇到其他相似問題可以解決。
池化技術
前面提到一個名詞——池化技術,那么到底什么是池化技術呢?
池化技術簡單點來說,就是提前保存大量的資源,以備不時之需。在機器資源有限的情況下,使用池化技術可以大大的提高資源的利用率,提升性能等。
在編程領域,比較典型的池化技術有:
線程池、連接池、內存池、對象池等。
本文主要來介紹一下其中比較簡單的線程池的實現原理,希望讀者們可以舉一反三,通過對線程池的理解,學習並掌握所有編程中池化技術的底層原理。
創建一個線程
在Java的並發編程中,線程是十分重要的,在Java中,創建一個線程比較簡單:
public class App { public static void main(String[] args) throws Exception { new Thread(new Runnable() { @Override public void run() { System.out.println("線程運行中"); } }).start(); } }
我們通過創建一個線程對象,並且實現Runnable接口就可以實現一個簡單的線程。可以利用上多核CPU。當一個任務結束,當前線程就接收。
但很多時候,我們不止會執行一個任務。如果每次都是如此的創建線程->執行任務->銷毀線程,會造成很大的性能開銷。
那能否一個線程創建后,執行完一個任務后,又去執行另一個任務,而不是銷毀。這就是線程池。
這也就是池化技術的思想,通過預先創建好多個線程,放在池中,這樣可以在需要使用線程的時候直接獲取,避免多次重復創建、銷毀帶來的開銷。
線程池的簡單使用
以下代碼,是在Java中創建線程池:
import java.util.concurrent.*; public class App { public static void main(String[] args) throws Exception { ExecutorService executorService = new ThreadPoolExecutor(1, 1, 60L, TimeUnit.SECONDS, new ArrayBlockingQueue<>(10)); executorService.execute(new Runnable() { @Override public void run() { System.out.println("abcdefg"); } }); executorService.shutdown(); } }
Jdk提供給外部的接口也很簡單。直接調用ThreadPoolExecutor構造一個就可以了,也可以通過Executors靜態工廠構建,但一般不建議。
可以看到,開發者想要在代碼中使用線程池還是比較簡單的,這得益於Java給我們封裝好的一系列API。但是,這些API的背后是什么呢,讓我們來揭開這個迷霧,看清線程池的本質。
線程池構造函數
通常,一般構造函數會反映出這個工具或這個對象的數據存儲結構。
構造函數
如果把線程池比作一個公司。公司會有正式員工處理正常業務,如果工作量大的話,會雇佣外包人員來工作。
閑時就可以釋放外包人員以減少公司管理開銷。一個公司因為成本關系,雇佣的人員始終是有最大數。
如果這時候還有任務處理不過來,就走需求池排任務。
- acc : 獲取調用上下文
- corePoolSize: 核心線程數量,可以類比正式員工數量,常駐線程數量。
- maximumPoolSize: 最大的線程數量,公司最多雇佣員工數量。常駐+臨時線程數量。
- workQueue:多余任務等待隊列,再多的人都處理不過來了,需要等着,在這個地方等。
- keepAliveTime:非核心線程空閑時間,就是外包人員等了多久,如果還沒有活干,解雇了。
- threadFactory: 創建線程的工廠,在這個地方可以統一處理創建的線程的屬性。每個公司對員工的要求不一樣,恩,在這里設置員工的屬性。
- handler:線程池拒絕策略,什么意思呢?就是當任務實在是太多,人也不夠,需求池也排滿了,還有任務咋辦?默認是不處理,拋出異常告訴任務提交者,我這忙不過來了。
添加一個任務
接着,我們看一下線程池中比較重要的execute方法,該方法用於向線程池中添加一個任務。
源碼
核心模塊用紅框標記了。
- 第一個紅框:workerCountOf方法根據ctl的低29位,得到線程池的當前線程數,如果線程數小於corePoolSize,則執行addWorker方法創建新的線程執行任務;
- 第二個紅框:判斷線程池是否在運行,如果在,任務隊列是否允許插入,插入成功再次驗證線程池是否運行,如果不在運行,移除插入的任務,然后拋出拒絕策略。如果在運行,沒有線程了,就啟用一個線程。
- 第三個紅框:如果添加非核心線程失敗,就直接拒絕了。
這里邏輯稍微有點復雜,畫了個流程圖僅供參考
接下來,我們看看如何添加一個工作線程的?
添加worker線程
從方法execute的實現可以看出:addWorker主要負責創建新的線程並執行任務,代碼如下(這里代碼有點長,沒關系,也是分塊的,總共有5個關鍵的代碼塊):
- 第一個紅框:做是否能夠添加工作線程條件過濾:
判斷線程池的狀態,如果線程池的狀態值大於或等SHUTDOWN,則不處理提交的任務,直接返回;
- 第二個紅框:做自旋,更新創建線程數量:
通過參數core判斷當前需要創建的線程是否為核心線程,如果core為true,且當前線程數小於corePoolSize,則跳出循環,開始創建新的線程
有人或許會疑問 retry 是什么?這個是java中的goto語法。只能運用在break和continue后面。
接着看后面的代碼:
- 第一個紅框:獲取線程池主鎖。
線程池的工作線程通過Woker類實現,通過ReentrantLock鎖保證線程安全。
- 第二個紅框:添加線程到workers中(線程池中)。
- 第三個紅框:啟動新建的線程。
接下來,我們看看workers是什么。
一個hashSet。所以,線程池底層的存儲結構其實就是一個HashSet。
worker線程處理隊列任務
- 第一個紅框:是否是第一次執行任務,或者從隊列中可以獲取到任務。
- 第二個紅框:獲取到任務后,執行任務開始前操作鈎子。
- 第三個紅框:執行任務。
- 第四個紅框:執行任務后鈎子。
這兩個鈎子(beforeExecute,afterExecute)允許我們自己繼承線程池,做任務執行前后處理。
到這里,源代碼分析到此為止。接下來做一下簡單的總結。
總結
所謂線程池本質是一個hashSet。多余的任務會放在阻塞隊列中。
只有當阻塞隊列滿了后,才會觸發非核心線程的創建。所以非核心線程只是臨時過來打雜的。直到空閑了,然后自己關閉了。
線程池提供了兩個鈎子(beforeExecute,afterExecute)給我們,我們繼承線程池,在執行任務前后做一些事情。
線程池原理關鍵技術:鎖(lock,cas)、阻塞隊列、hashSet(資源池)
最后希望對你理解線程池有幫助。最后,留一個思考題,為什么線程池的底層數據接口采用HashSet來實現?