原文:apache kyuubi + dremio 集成试用

主要是一个玩法的集成,使用apache kyuubi 简化spark 的使用,而且如果我们集成数据库存储格式也是很方便的 感谢网易做出的贡献 参考图 简单说明: 我们直接基于apache kyuubi 进行delta lake 的操作,数据存储到minio s 中,然后使用dremio 强大的能力 数据加速,数据集成能力 方便的进行数据查询分析 环境准备 下载安装apache kyuubi 使用了 ...

2021-11-14 21:05 0 775 推荐指数:

查看详情

apache kyuubi 参考架构集成

apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台(当前主要基于spark,当然也会支持其他引擎)使用apache kyuubi 的好处是支持开了多租户,同时利用apache kyuubi 我们可以方便的进行数据分析开发,以及进行数据湖应用开发(可以方 ...

Sun Nov 14 20:39:00 CST 2021 0 123
Apache Kyuubi 在 T3 出行的深度实践

支撑了80%的离线作业,日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以 Apache Hudi 为基础的企业级数据湖,提供 ...

Fri Nov 12 23:20:00 CST 2021 0 1247
Apache Kyuubi 助力 CDH 解锁 Spark SQL

Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful、 MySQL ...

Fri Nov 19 00:50:00 CST 2021 0 1749
apache geode 试用

使用docker 运行,文档参考的官方的5 分钟学习文档 拉取镜像 d ...

Fri Jan 11 00:15:00 CST 2019 0 664
gogs wekan 集成试用

wekan 官方提供了一个集成gogs 的扩展,不是完全的自动化,需要结合cli,但是官方的cli 写的。。。(不是很全) 备注: 测试环境使用docker-compose 环境准备 docker-compose 文件 ...

Thu Jan 03 01:13:00 CST 2019 0 746
nocodb minio 集成试用

nocodb 包含了app store 可以方便进行外部集成,以下测试下关于minio s3的集成 实际上minio的集成属于存储扩展的集成(比如附件之类的存储,主要表单以及table 设计中的存储需要) 环境准备 docker-compose 文件 ...

Sun Mar 27 02:20:00 CST 2022 0 1033
Apache Hudi与Apache Flink集成

感谢王祥虎@wangxianghu 投稿 Apache Hudi是由Uber开发并开源的数据湖框架,它于2019年1月进入Apache孵化器孵化,次年5月份顺利毕业晋升为Apache顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 Hudi自诞生至今一直使用Spark ...

Tue Oct 13 17:53:00 CST 2020 0 3450
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM