GitHub地址:https://github.com/WeBankFinTech/Linkis
什么是Linkis?
Linkis是微眾銀行自研的一個打通了多個計算存儲引擎如:Spark、TiSpark、Hive、Python和HBase等,對外提供統一REST/WebSocket/JDBC接口,提交執行SQL、Pyspark、HiveQL、Scala等腳本的計算中間件。
Linkis 0.9.2發布,主要優化了部署和啟動腳本,並對hadoop和HttpClient的依賴進行了優化。
特性增強
- [Linkis-193] 部署增強:腳本會自動識別是單機部署還是分布式部署,單機部署和啟動時,不再使用SSH和SCP。
- [Linkis-194] 環境檢查:在安裝Linkis之前先檢查依賴的所有Linux命令和環境,如果檢查失敗,則直接退出安裝部署。
- [Linkis-195] 服務檢測:在start-all腳本里面對服務是否正常啟動進行檢查,如果服務不正常則給出錯誤日志。
- [Linkis-191] 依賴優化:將hadoop相關工具類從公共core/common模塊移到單獨的core/hadoop-common模塊,減少包沖突問題.
- [Linkis-192] 依賴優化:core/common模塊不再依賴httpclient相關jar包,統一移到core/linkis-httpclient模塊.
- [Linkis-196] 統一分配Linkis各個服務的端口,從9100開始分配.
- [Linkis-197] Linkis支持通過配置SERVER_HEAP_SIZE環境變量,統一指定所有微服務的堆內存大小.
- [Linkis-198] Linkis-RM除了通過讀取yarn-site.xml自動獲取Yarn的JMX URL的方式之外,新增一種通過參數配置的方式獲取。
- [Linkis-199] 統一微服務的啟動腳本,方便后續統一修改.
- [Linkis-200] 將公共依賴的模塊放到public-module,減少包沖突和降低安裝包大小.
- [Linkis-201] 默認將hadoop/hive/spark環境變量寫到各個微服務的配置文件中.
- [Linkis-208 ] 在安裝腳本中新增haoop/hive/spark版本兼容性檢測,如果版本不兼容,會提醒用戶是否選擇繼續安裝.
- [Linkis-221 ] 增強Linkis-RM模塊,使RM可以獲取更多hadoop版本的Yarn隊列信息.
- [Linkis-174 ] 增強metadata模塊,使metadata支持訪問postgresql類型的hive元數據庫.
Bug修復
- [Linkis-175] 將yarn的默認隊列從ide修改為default.
- [Linkis-202] 移除Entrance錯誤碼功能對hdfs的依賴,使精簡版可以完全不依賴hadoop.
- [Linkis-205] SQL注釋優化,在--后面加空格.
- [Linkis-210] 修復BML訪問hdfs的權限問題.
- [Linkis-218] 從start和install腳本中移除yum命令,兼容更多的unix系統.
- [Linkis-226] 優化metadata模塊,使引入的hive包,排除對Jackson包的依賴,降低包沖突風險.
- [Linkis-229] 排除公共依賴public-module中的Jasper包,降低包沖突風險.
- [Linkis-143] Linkis的配置文件增加對中文配置的支持.
貢獻者
最后但是最重要的一點是,如果沒有以下貢獻者不可能發布此版本,在此感謝各位社區的貢獻者!
排名不分先后(按字母排序):
allwefantasy: 增加了MLSQL引擎.
chenxi0599: 修復filesystem在日志打印錯誤問題.
hj2016: 解決當Yarn為Capacity調度獲取最大資源時,由於maxEffectiveCapacity參數不存在導致的bug.
houjunxiong: 增強模塊metadata對hive的元數據庫類型為postgresql的支持.
Just-do-it-Fan: 增加ResourceManager模塊對Yarn的Capacity調度支持.
leisore: 修復start和stop腳本命名問題.
liangqilang: 修復httpclient下載文件拋NullPointException的bug和增加流傳輸下載結果集功能,等多個特性.
nimuyuhan: 修復配置文件不支持中文bug.
patinousward: 修復多個bug,並在metadata模塊中增加建表功能.
wForget:提供了linkis的CDH5.7.6可用的發布版本.
zhanghaicheng1: 增加部署安裝問題文檔.