原文:apache kyuubi + dremio 集成試用

主要是一個玩法的集成,使用apache kyuubi 簡化spark 的使用,而且如果我們集成數據庫存儲格式也是很方便的 感謝網易做出的貢獻 參考圖 簡單說明: 我們直接基於apache kyuubi 進行delta lake 的操作,數據存儲到minio s 中,然后使用dremio 強大的能力 數據加速,數據集成能力 方便的進行數據查詢分析 環境准備 下載安裝apache kyuubi 使用了 ...

2021-11-14 21:05 0 775 推薦指數:

查看詳情

apache kyuubi 參考架構集成

apache kyuubi 是網易開源支持多租戶大規模的thrift jdbc/odbc 平台(當前主要基於spark,當然也會支持其他引擎)使用apache kyuubi 的好處是支持開了多租戶,同時利用apache kyuubi 我們可以方便的進行數據分析開發,以及進行數據湖應用開發(可以方 ...

Sun Nov 14 20:39:00 CST 2021 0 123
Apache Kyuubi 在 T3 出行的深度實踐

支撐了80%的離線作業,日作業量在1W+ 大多數場景比 Hive 性能提升了3-6倍 多租戶、並發的場景更加高效穩定 T3出行是一家基於車聯網驅動的智慧出行平台,擁有海量且豐富的數據源。因為車聯網數據的多樣性,T3出行構建了以 Apache Hudi 為基礎的企業級數據湖,提供 ...

Fri Nov 12 23:20:00 CST 2021 0 1247
Apache Kyuubi 助力 CDH 解鎖 Spark SQL

Apache Kyuubi(Incubating)(下文簡稱Kyuubi)是⼀個構建在Spark SQL之上的企業級JDBC網關,兼容HiveServer2通信協議,提供高可用、多租戶能力。Kyuubi 具有可擴展的架構設計,社區正在努力使其能夠支持更多通信協議(如 RESTful、 MySQL ...

Fri Nov 19 00:50:00 CST 2021 0 1749
apache geode 試用

使用docker 運行,文檔參考的官方的5 分鍾學習文檔 拉取鏡像 d ...

Fri Jan 11 00:15:00 CST 2019 0 664
gogs wekan 集成試用

wekan 官方提供了一個集成gogs 的擴展,不是完全的自動化,需要結合cli,但是官方的cli 寫的。。。(不是很全) 備注: 測試環境使用docker-compose 環境准備 docker-compose 文件 ...

Thu Jan 03 01:13:00 CST 2019 0 746
nocodb minio 集成試用

nocodb 包含了app store 可以方便進行外部集成,以下測試下關於minio s3的集成 實際上minio的集成屬於存儲擴展的集成(比如附件之類的存儲,主要表單以及table 設計中的存儲需要) 環境准備 docker-compose 文件 ...

Sun Mar 27 02:20:00 CST 2022 0 1033
Apache Hudi與Apache Flink集成

感謝王祥虎@wangxianghu 投稿 Apache Hudi是由Uber開發並開源的數據湖框架,它於2019年1月進入Apache孵化器孵化,次年5月份順利畢業晉升為Apache頂級項目。是當前最為熱門的數據湖框架之一。 1. 為何要解耦 Hudi自誕生至今一直使用Spark ...

Tue Oct 13 17:53:00 CST 2020 0 3450
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM