文章首發於公眾號「陳樹義」及個人博客 shuyi.tech，歡迎關注訪問。
在實際工作中，我們經常會用到各種連接池，例如：連接 FTP 服務器的連接數有限，需要建立一個連接池；連接數據庫的連接數有限，需要建立一個連接池。那我們如何去快速實現一個連接池呢？
無論是 FTP 連接池，還是數據庫連接池，我們會發現它們都有相同的地方，它們都需要：生命周期管理、連接創建管理等等。如果我們從零開始去實現這些功能，那我們要耗費的時間就很長了！那有沒有一個通用的庫可以快速實現一個線程池呢？
得益於 Java 完善的生態，前人們針對這種需要開發了一個通用庫：Apache Commons Pool（下文簡稱 ACP）。本質上來說，ACP 庫提供的是管理對象池的通用能力，當然也可以用來管理連接池了！
什么是 ACP？
ACP 庫提供了一整套用於實現對象池化的 API，以及若干種各具特色的對象池實現。目前最常用的版本是 2.0 版本，相對於 1.x 版本而言，並不是簡單升級。2.0 版本是對象池實現的完全重寫，顯著的提升了性能和可伸縮性，並且包含可靠的實例跟蹤和池監控。
Apache Commons Pool 的官網地址為：Pool – Overview，想翻找相關文檔資料，到這里去是最權威、最全面的。
如何使用 ACP？
要使用 ACP 實現一個線程池，首先需要先引入 ACP 的依賴包，這里以 Maven 為例。
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.0</version>
</dependency>
要使用 ACP 實現一個對象池，大致可以分為三個步驟：
- 創建對象工廠：告訴 ACP 如何創建你要的對象。
- 創建對象池：告訴 ACP 你想創建一個怎樣的對象池。
- 使用對象池：ACP 告訴你如何使用你的對象。
創建對象工廠
文章首發於公眾號「陳樹義」及個人博客 shuyi.tech，歡迎關注訪問。
對象工廠告訴 ACP，它應該如何去創建、激活、鈍化、銷毀你的對象。創建對象工廠非常簡單，只需要實現 ACP 的 PooledObjectFactory 接口即可。PooledObjectFactory 接口的定義如下：
public interface PooledObjectFactory<T> {
PooledObject<T> makeObject() throws Exception;
void destroyObject(PooledObject<T> p) throws Exception;
boolean validateObject(PooledObject<T> p);
void activateObject(PooledObject<T> p) throws Exception;
void passivateObject(PooledObject<T> p) throws Exception;
}
但更多情況下，我們會繼承 BasePooledObjectFactory 類來實現對象工廠。因為 BasePooledObjectFactory 類是 PooledObjectFactory 的基礎實現類，使用它可以幫我們省了很多麻煩。通過繼承這個抽象類，我們只需要實現兩個方法：create() 和 wrap() 方法。
// 告訴 ACP 如何創建對象
public abstract T create() throws Exception;
// 定義你要返回的對象
public abstract PooledObject<T> wrap(T obj);
create() 方法定義你的對象初始化過程，最后將初始化完成的對象返回。例如你想定義一個 SFTP 的連接，那么你首先需要定義一個 JSch 對象，之后設置賬號密碼，之后連接服務器，最后返回一個 ChannelSftp 對象。
public ChannelSftp create() {
// SFTP 連接的創建過程
}
wrap() 方法定義你要返回的對象，對於一個 SFTP 的連接池來說，其實就是一個 ChannelSftp 對象。一般情況下可以使用類 DefaultPooledObject 替代，參考實現如下：
@Override
public PooledObject<Foo> wrap(Foo foo) {
return new DefaultPooledObject<Foo>(foo);
}
創建對象池
創建好對象工廠之后，ACP 已經知道你需要的對象如何創建了。那么接下來，你需要根據你的實際需要，去創建一個對象池。在 ACP 中，我們通過 GenericObjectPool 以及 GenericObjectPoolConfig 來創建一個對象池。
// 聲明一個對象池
private GenericObjectPool<ChannelSftp> sftpConnectPool;
// 設置連接池配置
GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
poolConfig.setEvictionPolicyClassName("tech.shuyi.javacodechip.acp.SftpEvictionPolicy");
poolConfig.setBlockWhenExhausted(true);
poolConfig.setJmxEnabled(false);
poolConfig.setMaxWaitMillis(1000 * 10);
poolConfig.setTimeBetweenEvictionRunsMillis(60 * 1000);
poolConfig.setMinEvictableIdleTimeMillis(20 * 1000);
poolConfig.setTestWhileIdle(true);
poolConfig.setTestOnReturn(true);
poolConfig.setTestOnBorrow(true);
poolConfig.setMaxTotal(3);
// 設置拋棄策略
AbandonedConfig abandonedConfig = new AbandonedConfig();
abandonedConfig.setRemoveAbandonedOnMaintenance(true);
abandonedConfig.setRemoveAbandonedOnBorrow(true);
this.sftpConnectPool = new GenericObjectPool<>(sftpConnectFactory, poolConfig, abandonedConfig);
在上面創建 SFTP 連接池的代碼中，我們配置了一些線程池的參數以及設置了拋棄策略。拋棄策略是非常重要的，如果沒有設置拋棄策略，那么會拿到失效的連接從而導致獲取文件失敗。拋棄策略是通過 poolConfig.setEvictionPolicyClassName 來設置的，我們這里設置的是 SftpEvictionPolicy 類，其代碼內容如下：
@Slf4j
@Component
public class SftpEvictionPolicy implements EvictionPolicy<com.jcraft.jsch.ChannelSftp> {
@Override
public boolean evict(EvictionConfig config, PooledObject<com.jcraft.jsch.ChannelSftp> underTest, int idleCount) {
try {
// 連接失效時進行驅逐
if (!underTest.getObject().isConnected()) {
log.warn("connect time out, evict the connection. time={}",System.currentTimeMillis() - underTest.getLastReturnTime());
return true;
}
}catch (Exception e){
return true;
}
return false;
}
}
看到這里，創建線程池的代碼就結束了，SftpConnectPool 文件的全部內容如下：
@Slf4j
public class SftpConnectPool {
private GenericObjectPool<ChannelSftp> sftpConnectPool;
public SftpConnectPool(SftpConnectFactory sftpConnectFactory) {
// 設置連接池配置
GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
poolConfig.setEvictionPolicyClassName("tech.shuyi.javacodechip.acp.SftpEvictionPolicy");
poolConfig.setBlockWhenExhausted(true);
poolConfig.setJmxEnabled(false);
poolConfig.setMaxWaitMillis(1000 * 10);
poolConfig.setTimeBetweenEvictionRunsMillis(60 * 1000);
poolConfig.setMinEvictableIdleTimeMillis(20 * 1000);
poolConfig.setTestWhileIdle(true);
poolConfig.setTestOnReturn(true);
poolConfig.setTestOnBorrow(true);
poolConfig.setMaxTotal(3);
// 設置拋棄策略
AbandonedConfig abandonedConfig = new AbandonedConfig();
abandonedConfig.setRemoveAbandonedOnMaintenance(true);
abandonedConfig.setRemoveAbandonedOnBorrow(true);
this.sftpConnectPool = new GenericObjectPool<>(sftpConnectFactory, poolConfig, abandonedConfig);
}
public ChannelSftp borrowObject() {
try {
return sftpConnectPool.borrowObject();
} catch (Exception e) {
log.error("borrowObject error", e);
return null;
}
}
public void returnObject(ChannelSftp channelSftp) {
if (channelSftp!=null) {
sftpConnectPool.returnObject(channelSftp);
}
}
}
為了方便使用，我還增加了 borrowObject 和 returnObject 方法，但這兩個並不是必須的。在這兩個方法中，我們分別調用了 GenericObjectPool 類的 borrowObject 方法和 returnObject 方法。這正是 ACP 提供的、使用線程池對象的方法，先借一個對象，之后歸還對象。
注：其實在這一步，已經包含了對象池的使用了。但實際使用的時候，我們經常是將對象池的聲明與使用放在同一個類中，因此為了講解方便，這里沒有分開。因此下文的使用對象池，本質上是對對象池做進一步封裝。
使用對象池
到這里我們的 SFTP 對象池就已經創建完畢了，是不是非常簡單呢！但在實際的工作中，我們通常會在這基礎上，做一些封裝。對於我們這次的 SFTP 連接池來說，我們會對外直接提供下載文件的服務，將 SFTP 對象池進一步封裝起來，不需要關心怎么獲取文件。
public class SftpFileHelper {
@Autowired
private SftpConnectPool sftpConnectPool;
public void download(String dir, String file, String saveUrl)throws IOException {
ChannelSftp sftp = sftpConnectPool.borrowObject();
log.info("begin to download file, dir={}, file={}, saveUrl={}", dir, file, saveUrl);
try {
if (!StringUtils.isEmpty(dir)) {
sftp.cd(dir);
}
File downloadFile = new File(saveUrl);
sftp.get(file, new FileOutputStream(downloadFile));
}catch (Exception e){
log.warn("下載文件失敗", e);
}finally {
sftpConnectPool.returnObject(sftp);
}
log.info("file:{} is download successful", file);
}
}
最后我們寫一個測試用例來試一試，是否能正常下載文件。
@RunWith(SpringRunner.class)
@SpringBootTest
@Slf4j
public class SftpFileHelperTest {
@Autowired
private SftpFileHelper sftpFileHelper;
@Test
public void testDownloadFtpFile() throws Exception {
sftpFileHelper.download("dir", "fileName", "fileName");
}
}
沒有意外的話，你會看到一條綠線，文件已經被成功下載了！
文章首發於公眾號「架構師指南」及個人博客 shuyi.tech，歡迎關注訪問。
總結
本文針對 Apache Commons Pool 庫最常用的對象池功能做了演示。看完這篇文章，我們知道創建一個線程池需要三個步驟，分別是：
- 創建對象工廠：告訴 ACP 如何創建你要的對象。
- 創建對象池：告訴 ACP 你想創建一個怎樣的對象池、設置驅逐策略。
- 使用對象池：ACP 告訴你如何使用你的對象。
本文相關代碼存放在博主 Github 項目：java-code-chip 中，可以點擊地址獲取：java-code-chip/src/main/java/tech/shuyi/javacodechip/acp at master · chenyurong/java-code-chip
ACP 庫能夠讓讀者朋友們快速地創建一個對象池，更加專注於業務內容。但事實上，ACP 提供的內容遠不止如此，它還有更多更高級的功能。
例如當我們連接的 SFTP 服務器有多個時，我們需要通過不同地址來獲得不同的連接對象。此時最笨的辦法是每個不同的地址，都復制多一份代碼，然后通過不同類的不同方法來實現。但這樣的情況工作量相當可觀，並且也會有很多重復代碼。這種時候就可以使用BaseKeyedPooledObjectFactory 來替代 BasePooledObjectFactory，從而實現通過 key 來實現不同地址的連接對象管理。
更多關於 ACP 的內容，感興趣的同學可以自行探索，這里就不深入講解了。
謝謝大家的閱讀。如果文章對你有幫助，點個「點贊」 ，或者分享到朋友圈 吧。