業余草基於JAVA的模塊化開發框架JarsLink


需求背景

8481c8f592b7f349aa84a1de5c171db681516edf應用拆分的多或少都有問題。多則維護成本高,每次發布一堆應用。少則拆分成本高,無用功能很難下線。
8481c8f592b7f349aa84a1de5c171db681516edf故障不隔離。當一個系統由多人同時參與開發時,修改A功能,可能會影響B功能,引發故障。
8481c8f592b7f349aa84a1de5c171db681516edf多分支開發引發沖突。多分支開發完之后合並會產生沖突。
8481c8f592b7f349aa84a1de5c171db681516edf牽一發動全身。一處核心代碼的改動,或一個基礎Jar的升級需要回歸整個系統。
8481c8f592b7f349aa84a1de5c171db681516edf升級和遷移成本高。中間件升級每個應用都有升級成本。

模塊化開發的好處

8cad557d4753b1803698c955b6ce5bdd0eb64cc8

8481c8f592b7f349aa84a1de5c171db681516edf可插拔,一個應用由多個模塊組成,應用里的模塊可拆和合,模塊可快速在多個系統中遷移和部署。
8481c8f592b7f349aa84a1de5c171db681516edf模塊化開發,模塊之間互相隔離,實現故障隔離。
8481c8f592b7f349aa84a1de5c171db681516edf一個模塊一個分支,不會引發代碼沖突。
8481c8f592b7f349aa84a1de5c171db681516edf在模塊中增加或修改功能,只會影響當前模塊,不會影響整個應用。
8481c8f592b7f349aa84a1de5c171db681516edf動態部署,在運行時把模塊部署到應用中,快速修復故障,提高發布效率。
8481c8f592b7f349aa84a1de5c171db681516edf多版本部署,可以在運行時同時部署某個模塊的新舊版本,進行AB TEST。
8481c8f592b7f349aa84a1de5c171db681516edf減少資源消耗,通過部署模塊的方式減少應用數量和機器數量。

JarsLink的應用場景

8481c8f592b7f349aa84a1de5c171db681516edf數據管理中心,如果你需要開發一個數據管理系統,這個系統需要去不同的異構系統采集數據,這些系統會提供不同類型的接口,如RPC,HTTP等。並且數據采集的數據源多,每種數據源都需要對接和開發,數據質量比較差,需要經常修改代碼進行發布。在這種場景下,通過模塊化開發,實現一個數據源使用一個模塊進行對接,上線新數據源只需要新增模塊,修改BUG只需要修改某個模塊,並能快速上線。
8481c8f592b7f349aa84a1de5c171db681516edf后台管理系統,互聯網應用發展到一定階段會出現很多后台需求,如客服查詢用戶的信息幫助解答問題,開發查后台數據排查系統BUG,運營使用后台功能發送運營活動等。這些功能發布頻率會大於核心系統,如果放在核心系統里會影響其穩定性,所以我們必須要建一個后台系統來開發后台功能,但是這樣又帶來一個新的問題,很多開發都會來這個系統進行開發,拉多分支造成代碼沖突,A業務的BUG影響到B業務。所以如果每個業務線一個模塊,每個模塊使用一個單獨的分支進行開發,就能進行隔離開發,提高開發速度,開發完后在運行時加載到系統中。
8481c8f592b7f349aa84a1de5c171db681516edf微服務集成測試, 目前一個微服務是一個FAT JAR,如果有幾十個微服務,則需要啟動很多進程,DEBUG端口會很多,使用JarsLink框架合並FAT JAR,再路由請求到其他JAR,就可以只啟動一個進程進行DEBUG測試。
8481c8f592b7f349aa84a1de5c171db681516edf指標計算系統,可以把消息轉發到不同的模塊中進行處理,並輸出指標。

目前螞蟻金服微貸事業部幾個系統和幾十個模塊已經使用JarsLink框架。

JarsLink的特性

隔離性

8481c8f592b7f349aa84a1de5c171db681516edf類隔離:框架為每個模塊的Class使用單獨的ClassLoader來加載,每個模塊可以依賴同一種框架的不同的版本。
8481c8f592b7f349aa84a1de5c171db681516edf實例隔離:框架為每個模塊創建了一個獨立的Spring上下文,來加載模塊中的BEAN,實例化失敗不會影響其他模塊。
8481c8f592b7f349aa84a1de5c171db681516edf資源隔離:后續會支持模塊之間的資源隔離,每個模塊使用獨立的CPU和內存資源。

動態性

8481c8f592b7f349aa84a1de5c171db681516edf動態發布:模塊能在運行時動態加載到系統中,實現不需要重啟和發布系統新增功能。支持突破雙親委派機制,在運行時加載父加載器已經加載過的類,實現模塊升級依賴包不需要系統發布。
8481c8f592b7f349aa84a1de5c171db681516edf動態卸載:模塊能在運行時被動態卸載干凈,實現快速下線不需要功能。

易用性

提供了通用靈活的API讓系統和模塊進行交互。

實現原理

模塊加載

JarsLink為每個模塊創建一個新的URLClassLoader來加載模塊。並且支持突破雙親委派,設置了overridePackages的包將由子類加載進行加載,不優先使用父類加載器已加載的。

模塊的卸載

卸載模塊需要滿足三個條件:

8481c8f592b7f349aa84a1de5c171db681516edf模塊里的實例對象沒有被引用
8481c8f592b7f349aa84a1de5c171db681516edf模塊里的Class沒有被引用
8481c8f592b7f349aa84a1de5c171db681516edf類加載器沒有被引用

所以需要做到三點卸載實例,卸載類和卸載類加載器,整個模塊的卸載順序如下:

36f23537363c7642fc76b5f0e7ad2ef2aab1855e
8481c8f592b7f349aa84a1de5c171db681516edf關閉資源:關閉HTTP連接池或線程池。
8481c8f592b7f349aa84a1de5c171db681516edf關閉IOC容器:調用applicationContext.close()方法關閉IOC容器。
8481c8f592b7f349aa84a1de5c171db681516edf移除類加載器:去掉模塊的引用。
8481c8f592b7f349aa84a1de5c171db681516edf卸載JVM租戶(開發中):卸載該模塊使用的JVM租戶,釋放資源。

模塊間隔離

模塊化開發需要解決隔離性問題,否則各模塊之間會互相影響。模塊之間的隔離有三個層次:

8481c8f592b7f349aa84a1de5c171db681516edf類隔離:為每個模塊創建一個類加載器來實現類隔離。
8481c8f592b7f349aa84a1de5c171db681516edf實例隔離:為每個模塊創建一個新的IOC容器來加載模塊里面的BEAN。
8481c8f592b7f349aa84a1de5c171db681516edf資源隔離:對每個模塊只能使用指定的CPU和內存。

目前JarsLink實現了類隔離和實例隔離,資源隔離准備引入ALIJVM多租戶來解決。

ccbfd650e876205353ece8e646f230c09bfcf470

模塊間通訊

模塊之間的通訊也有三種方式,RPC,本地調用,深克隆/反射。

16e0be77f859a10e8aff8535362b0c8a9e50b1d6

8481c8f592b7f349aa84a1de5c171db681516edf本地調用:目前JarsLink的doAction就是使用的這種通訊方式,這種方式要求模塊的類加載器是父子關系,且IOC容器也是父子容器。
8481c8f592b7f349aa84a1de5c171db681516edfRPC調用:用於跨JVM的模塊之間調用,利用SOFA 4動態API在模塊中發布和引用TR服務來實現。
8481c8f592b7f349aa84a1de5c171db681516edf深克隆/反射:深克隆其他模塊的入參,反射其他模塊的方法實現調用。

類加載機制

OSGI類加載機制的關系采用的是網狀結構,每個模塊通過 Export-Package 來聲明我要給別人用哪些類,通過 Import-Package來聲明我要用別人的哪些類。JarsLink采用扁平化管理,每個模塊都有一個共同的父類,這個父類加載器就是加載ModuleLoader類的加載器,如果是SOFA應用,模塊的父加載器是KernelAceClassLoader,類加載器關系如下:

f00a76b838a0de70ed59de7287ba9dd62099d629

如果所有模塊都需要使用的類,可以通過KernelAceClassLoader加載,如果是SOFA系統可以通過POM引入。

JarsLink框架類圖

JarsLink框架的類圖如下:

135c3797e899e483b110d92924ebcc0aab977dd7

8481c8f592b7f349aa84a1de5c171db681516edfAbstractModuleRefreshScheduler:入口類,負責定期掃描本地和內存中的模塊是否發生變更,如果變更,則更新模塊。
8481c8f592b7f349aa84a1de5c171db681516edfModuleLoader:模塊加載引擎,負責模塊加載。
8481c8f592b7f349aa84a1de5c171db681516edfModuleManager:模塊管理者,負責在運行時注冊,卸載,查找模塊和執行Action。
8481c8f592b7f349aa84a1de5c171db681516edfModule:模塊,一個模塊有多個Action。
8481c8f592b7f349aa84a1de5c171db681516edfAction:模塊里的執行者。

如何使用?

1:引入POM

JarsLink Maven Repo

abc9950ab261e800f09a282453d59c1d8a0eb0c4

JarsLink依賴的POM也需要引入

55507de14bce608f2d02c118c47b367b4b111927

2:引入jarslink BEAN

在系統中引入以下兩個BEAN。

2b0df9366927ef60ecceffc4d58437acdf0972dd

3:集成JarsLink API

使用JarsLink API非常簡單,只需要繼承AbstractModuleRefreshScheduler,並提供模塊的配置信息,代碼如下:

1d30ccc76f16548a563a9be959a282045a5d394c

這個調度器在bean初始化的時候會啟動一個調度任務,每分鍾刷新一次模塊,如果模塊的版本號發生變更則會更新模塊。實現這個方法時,必須把模塊(jar包)下載到機器本地,模塊的配置信息說明如下:

8481c8f592b7f349aa84a1de5c171db681516edfname:全局唯一,建議使用英文,忽略大小寫。
8481c8f592b7f349aa84a1de5c171db681516edfenabled:當前模塊是否可用,默認可用,卸載模塊時可以設置成false。
8481c8f592b7f349aa84a1de5c171db681516edfversion:模塊的版本,如果版本號和之前加載的不一致,框架則會重新加載模塊。
8481c8f592b7f349aa84a1de5c171db681516edfProperties:spring屬性配置文件。
8481c8f592b7f349aa84a1de5c171db681516edfmoduleUrl:模塊的本地存放地址。
8481c8f592b7f349aa84a1de5c171db681516edfoverridePackages:需要突破雙親委派的包名,一般不推薦使用,范圍越小越好,如com.alipay.XX。

把ModuleRefreshSchedulerImpl類注冊成Spring的bean。

b5d16d52b00a73e30097dc5070e49900e90d5056

JarsLink API 暫時不提供模塊可視化管理能力,所以需要使用其他系統來管理和發布模塊。目前可以通過com.alipay. jarslink.api.ModuleManager#getModules獲取運行時所有模塊的信息。

你也可以使用API來加載並注冊模塊,詳細使用方式可以參考ModuleManagerTest,代碼如下。

25e1e61ed1a83e628912926764eb6892589b322c

3:開發模塊

在模塊中只需要實現並開發Action,代碼如下:

0db6e3e4d43cf17fa1d31858ded4fe4e01c9655d

5:調用接口

開發者需要利用JarsLink API把請求轉發給模塊,先根據模塊名查找模塊,再根據aciton name查找Action,最后執行Action。

f20b75b4c0fe64dad162fc5ead7e262199626503

其他特性

Spring配置

通過moduleConfig的Properties屬性可以設置Spring bean變量的配置信息。

02f6615a26da674a99c9f3e61596e6ee2920244e

最佳實踐

HTTP請求轉發

可以把HTTP請求轉發給模塊處理。

 
        

消息請求轉發

可以把消息轉發給模塊進行處理。遵循默認大於配置的方式,你可以把TOPIC當做模塊名,EventCode當做ActionName來轉發請求。

接口說明

JarsLink框架最重要的兩個接口是ModuleManager和ModuleLoader。

ModuleManager接口

ModuleManager負責注冊,卸載,查找模塊和執行Action。

15140a1db7cb47966ec09e18d25c838d4313d442

ModuleLoader接口

ModuleLoader只負責加載模塊。

b101fac69bcbf50a720ef99dad26a6bf7dee8649

近期,JarsLink會支持多版本加載,並陸續支持模塊間調用、資源隔離等特性。我們也希望更多的童鞋參與進來,讓JarsLink幫助更多開發者提升效率。

業余草分享100套精選1000G架構師資料課程(超1T的IT學習資料免費送)。

超過1024G的IT學習資料免費領取,你值得擁有!

領取資源方式,關注“業余草”公眾號,回復對應的關鍵字

    • 01、回復”我要健康“,獲取程序員健康、內涵大禮包!
    • 02、回復”大數據“,獲取大數據相關資源。
    • 03、回復”linux“,獲取linux相關資料。
    • 04、回復”mongodb“,獲取mongodb學習資料。
    • 05、回復”redis“,獲取redis相關資料。
    • 06、回復”zookeeper“,獲取分布式等相關資料。
    • 07、回復”dubbo“,獲取dubbo相關資料。
    • 08、回復”git“,獲取git資料
    • 09、回復”設計模式“,獲取設計模式資料
    • 10、回復”小程序“,獲取小程序相關的資料
    • 11、回復”android“,獲取安卓相關的資料
    • 12、回復”java“,獲取java相關的資料
    • 13、回復”pyhton“,獲取Pyhton相關資料。
    • 14、回復”springboot“,獲取Spring Boot相關資料。
    • 15、回復”springcloud“,獲取Spring Cloud相關資料。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM