Flinkx-Web界面 LarkMidTable 數據中台 篇

gitHub地址: https://github.com/wxgzgl/LarkMidTable

方便推廣開源產品，希望覺得不錯的可以Star項目，可以加入我們一起研發！！！

LarkMidTable

中文 | English

Lark中文名稱 雲雀，雲代表大數據，雀代表平凡和自由。

LarkMidTable 是一站式開源的數據中台，實現元數據管理，數據倉庫開發，數據質量管理，數據的可視化，實現高效賦能數據前台並提供數據服務的產品。

 

 

產品願景

1.滿足許多的小企業，提供一站式的解決方案。

2.做出世界級別，能夠媲美BAT大廠的產品。

3.創造價值，產生價值，讓世界變得更加美好。

 

技術選型

框架名稱	框架用途	主要功能
Dolphin	任務調度	Task以DAG形式關聯，實時監控任務的狀態，支持Shell、MR、Spark、SQL、依賴等10多種任務類型，支持每日十萬數據量級任務穩定運行
Flink	離線和實時計算框架	Flink實現流批一體化、機器學習（FlinkML）、圖分析（Gelly）、復雜事件處理（CEP）、關系數據處理（Table）
Hive	數據倉庫	將結構化的數據文件映射為一張數據庫表，並提供SQL查詢功能，能將SQL語句語句轉變成MapReduce任務來執行。
Kylin	分析數據庫	Kylin 支持 SQL，Kylin 的 SQL on Hbase
Kafka	消息中間件	應用解耦、異步處理、流量削峰、日志處理、消息通信
Kubernetes	容器部署	重新啟動失敗的容器、彈性伸縮、服務的自動發現和負載均衡、滾動升級和一鍵回滾
Zookeeper	分布式協調服務	統一命名服務、配置管理、集群管理、隊列管理

 

產品架構圖

 

目前支持的數據庫

	數據庫類型	讀取類型	寫入類型
批處理同步	Mysql	支持	支持
	PostgreSql	支持	支持
	Mongodb	支持	支持
	SqlServer
	ClickHouse
	Hive		支持
	Hbase	支持	支持
	Hdfs	支持	支持
	ElasticSearch
	Kudu
	Redis
流處理同步	Kafka
	MySQL Binlog
	MongoDB Oplog
	PostgreSQL WAL

 

快速開始

請點擊 快速開始

前端代碼 前端代碼

資源庫 研發資源庫

開發規范 唯品會開發規范

 

特別鳴謝

本項目在datax-web代碼的基礎上進行二次重構開發，在此特別感謝datax-web團隊。

 

技術交流

搜索QQ群號[678097205]或者掃描下面的二維碼進入LarkMidTable 社區的QQ群，目前正是開源的初期階段，群里達到91人