一、引言
“老婆”和“媽媽”同時掉進水里,先救誰?
常言道:編碼五分鍾,解沖突兩小時。作為Java開發來說,第一眼見到ClassNotFoundException、NoSuchMethodException這些異常來說,第一反應就是排包。經過一通常規和非常規操作以后,往往會找到同一個Jar包引入了多個不同的版本,這時候一般排除掉低版本、保留高版本就可以了,這是因為一般Jar包都是向下兼容的。但是,如果出現版本不兼容的情況的時候,就會陷入“老婆和媽同時掉進水里,先救誰”的兩難境地,如果恰恰這種不兼容發生在中間件依賴和業務自身依賴之間,那就更難了。
如下圖所示,Project表示我們的項目,Dependency A表示我們的業務依賴,Dependency B表示中間件依賴,如果業務依賴和中間件依賴都依賴同一個Jar包C,但是版本卻不一樣,分別為0.1版本和0.2版本,而且最不巧的是這兩個版本還存在沖突,有些老的功能只在0.1低版本中存在,有些新功能只在0.2高版本中存在,真是“老婆和媽同時掉進水里,先救誰都不行”。
(圖片摘自:SOFAArk官網)
俗話說:沒有遇到過Jar包沖突的開發,一定是個假Java開發;沒有解決過Jar包沖突的開發,不是一個合格的Java開發。在最近的項目里,我們需要使用Guava的高版本Jar包,但是發現中間件依賴的是低版本且與高版本不兼容的Jar包,面對這種兩難,我們肯定是“老婆”和“媽媽”都要救,於是我們開始尋求解決方案。
二、不兼容依賴沖突解決方案
“老婆”和“媽媽”都要救,怎么救?
首先,我們想到的是,能不能把需要用到的Guava高版本的代碼拷出來直接放到我們的工程中去,但是這樣做會帶來幾個問題:
-
Guava作為一個功能豐富的基礎庫,某一部分的代碼往往與其他很多代碼都存在依賴關系,這會造成牽一發而動全身,工作量會比預想的要大很多;
-
拷貝出來的代碼只能自己手動維護,如果官方修復了問題或者重構了代碼或者增加了功能,我們想要升級的話,那么只能重頭再來一遍。於是,我們只能另外想其他的方案,這個只能作為最后的兜底方案。
然后,我們在想,一個Java類被加載到JVM虛擬機里區別於另一個Class,其一是它們倆全路徑不一樣,是風馬牛不相及的兩個不同的類,但卻是被不同的類加載器加載的,在JVM虛擬機里它們仍然被認為是兩個不同的Class。所以,我們就在想從類加載器上來尋求解決方案。在阿里巴巴內部,有一個Pandora的組件,正如其名就像一個魔盒,它會把中間件的依賴都裝到Pandora里(內部叫做Sar包),這樣的話,就能避免在中間件和業務代碼直接出現“老婆和媽同時掉進水里,先救誰”的兩難境地。
同樣,在類似的場景比如應用合並部署也能發揮威力。但是Pandora只在阿里內部使用並未開源。在螞蟻金服,也有一個這樣的組件,並且開源了,叫做SOFAArk(官方網址,感興趣的可以去官網了解SOFAArk的原理和使用),我們感覺已經找到了那個Mr.Right,於是我們開始研究SOFAArk如何使用。和Pandora一樣,SOFAArk也是通過使用不同的 ClassLoader 加載不同版本的三方依賴,進而隔離類,徹底解決包沖突的問題,這就要求我們需要將相關的依賴打包成Ark Plugin(參見SOFAArk官方文檔)。
對於公司來說,這樣的方案收益是比較大的,打包成Ark Plugin后整個公司都能夠共享,業務方都能受益,但是對於我們一個項目來說,采用這樣的方案無疑過重了。於是,我們與中間件同學聯系,詢問是否有計划引入類似的隔離組件解決中間件和業務代碼之間的依賴沖突問題,得到的答復是公司目前包沖突並不是一個強烈的痛點,暫時沒有計划引入。於是,我們只能暫且擱置SOFAArk,繼續尋找新的解決方案。
接着,我們在想既然Pandora/SOFAArk采用類加載隔離了同一路徑的類,那么如果我們把沖突的兩個版本庫的groupId變得不一樣,那么即使同名的類全路徑也是不一樣的,這樣在JVM里面必然是不同的Class。如果把Pandora/SOFAArk的隔離方式稱之為邏輯隔離的話,這種就相當於物理隔離了。要實現這一點,借助IDE的重構功能或者全局替換的功能就能比較容易的實現這一點。
正在我們准備擼起袖子動手干的時候,我們不禁在想,這樣的痛點應該早就有人遇到,尤其像Guava、Commons這類的基礎類庫,沖突在所難免,前人應該已經找到了優雅的撓癢姿勢。於是,我們就去搜索相關的文章,果不其然,maven-shade-plugin正是那優雅的撓癢姿勢,這個Maven插件的原理正是將類的包路徑進行重新映射,達到隔離不兼容Jar包的目的。
三、maven-shade-plugin解決依賴沖突
最后如何來配置和使用maven-shade-plugin將Guava映射成我們自己定制的Jar包,實現與中間件Guava的隔離。整個的過程還是比較清晰明了的,主要是創建一個Maven工程,引入依賴,配置我們要發布的倉庫地址,引入編譯打包插件和maven-shade-plugin插件,配置映射規則(標簽之間部分),然后編譯打包發布到Maven倉庫。pom.xml的配置如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.shaded.example</groupId>
<artifactId>guava-wrapper</artifactId>
<version>${guava.wrapper.version}</version>
<name>guava-wrapper</name>
<url>https://example.com/guava-wrapper</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<!- 版本與 guava 版本基本保持一致 ->
<guava.wrapper.version>27.1-jre</guava.wrapper.version>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>27.1-jre</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.3</version>
<configuration>
<source>${maven.compiler.source}</source>
<target>${maven.compiler.target}</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>2.3.2</version>
<executions>
<execution>
<id>default-jar</id>
<goals>
<goal>jar</goal>
</goals>
<phase>package</phase>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-source-plugin</artifactId>
<version>2.4</version>
<executions>
<execution>
<id>default-sources</id>
<goals>
<goal>jar-no-fork</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.1</version>
<configuration>
<createDependencyReducedPom>false</createDependencyReducedPom>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<!-- 重命名規則配置 -->
<relocations>
<relocation>
<!-- 源包路徑 -->
<pattern>com.google.guava</pattern>
<!-- 目標包路徑 -->
<shadedPattern>com.google.guava.wrapper</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.common</pattern>
<shadedPattern>com.google.common.wrapper</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.thirdparty</pattern>
<shadedPattern>com.google.wrapper.thirdparty</shadedPattern>
</relocation>
</relocations>
<transformers>
<transformer
implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"/>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
<distributionManagement>
<!- Maven倉庫配置,略 ->
</distributionManagement>
</project>
項目引入這個新打包的guava-wrapper后,import選擇從這個包導入我們需要的相關類即可。如下:
<dependency>
<groupId>com.vivo.internet</groupId>
<artifactId>guava-wrapper</artifactId>
<version>27.1-jre</version>
</dependency>
四、結語
為了在同一個項目中使用多個版本不兼容的Jar包,我們首先想到手動自行維護代碼,但是工作量和維護成本很高,接着我們想到通過類加載器隔離(開源方案SOFAArk),但是需要將相關依賴都打包成Ark Plugin,解決方案無疑有點過重了,最后通過maven-shade-plugin插件重命名並打包,優雅地解決了項目中不兼容多個版本Jar包的沖突問題。從問題出來,我們一步一步探尋問題的解決方案,最終的maven-shade-plugin插件方案雖然看似與手動自行維護代碼本質一致,看似回到了原點,但其實最終的方案優雅性遠比最開始高得多,正如人生的道路那樣,螺旋式上升,曲線式前進。
如果遇到類似需要支持版本不兼容Jar包共存的場景,可以考慮使用maven-shade-plugin插件,這種方法比較輕量級,可用於項目中存在個別不兼容Jar包沖突的場景,簡單有效,成本也很低。但是,如果Jar包沖突現象比較普遍,已成為明顯或者普遍的痛點,還是建議考慮文中提到的類似Pandora、SOFAArk等類加載器隔離的方案。
作者:vivo互聯網服務器團隊-Zhang Wei