Flinkx-Web界面 LarkMidTable 数据中台 篇

gitHub地址: https://github.com/wxgzgl/LarkMidTable

方便推广开源产品，希望觉得不错的可以Star项目，可以加入我们一起研发！！！

LarkMidTable

中文 | English

Lark中文名称 云雀，云代表大数据，雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。

 

 

产品愿景

1.满足许多的小企业，提供一站式的解决方案。

2.做出世界级别，能够媲美BAT大厂的产品。

3.创造价值，产生价值，让世界变得更加美好。

 

技术选型

框架名称	框架用途	主要功能
Dolphin	任务调度	Task以DAG形式关联，实时监控任务的状态，支持Shell、MR、Spark、SQL、依赖等10多种任务类型，支持每日十万数据量级任务稳定运行
Flink	离线和实时计算框架	Flink实现流批一体化、机器学习（FlinkML）、图分析（Gelly）、复杂事件处理（CEP）、关系数据处理（Table）
Hive	数据仓库	将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句语句转变成MapReduce任务来执行。
Kylin	分析数据库	Kylin 支持 SQL，Kylin 的 SQL on Hbase
Kafka	消息中间件	应用解耦、异步处理、流量削峰、日志处理、消息通信
Kubernetes	容器部署	重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚
Zookeeper	分布式协调服务	统一命名服务、配置管理、集群管理、队列管理

 

产品架构图

 

目前支持的数据库

	数据库类型	读取类型	写入类型
批处理同步	Mysql	支持	支持
	PostgreSql	支持	支持
	Mongodb	支持	支持
	SqlServer
	ClickHouse
	Hive		支持
	Hbase	支持	支持
	Hdfs	支持	支持
	ElasticSearch
	Kudu
	Redis
流处理同步	Kafka
	MySQL Binlog
	MongoDB Oplog
	PostgreSQL WAL

 

快速开始

请点击 快速开始

前端代码 前端代码

资源库 研发资源库

开发规范 唯品会开发规范

 

特别鸣谢

本项目在datax-web代码的基础上进行二次重构开发，在此特别感谢datax-web团队。

 

技术交流

搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群，目前正是开源的初期阶段，群里达到91人