看CarbonData如何用四招助力Apache Spark
摘要：CarbonData 在 Apache Spark 和存儲系統之間起到中介服務的作用，為 Spark 提供的4個重要功能。 本文分享自華為雲社區《Make Apache Spark better with CarbonData》，原文作者：大數據修行者 。 Spark 無疑是一個 ...
原文：Apache Kyuubi 助力 CDH 解鎖 Spark SQL
Apache Kyuubi Incubating 下文簡稱Kyuubi 是 個構建在Spark SQL之上的企業級JDBC網關，兼容HiveServer 通信協議，提供高可用 多租戶能力。Kyuubi 具有可擴展的架構設計，社區正在努力使其能夠支持更多通信協議 如 RESTful MySQL 和計算引擎 如Flink 。 Kyuubi的願景是讓大數據平民化。一個的典型使用場景是替換HiveServ ...
2021-11-18 16:50 0 1749 推薦指數：
相關推薦
apache kyuubi 參考架構集成
apache kyuubi 是網易開源支持多租戶大規模的thrift jdbc/odbc 平台（當前主要基於spark，當然也會支持其他引擎）使用apache kyuubi 的好處是支持開了多租戶，同時利用apache kyuubi 我們可以方便的進行數據分析開發，以及進行數據湖應用開發（可以方 ...
apache kyuubi + dremio 集成試用
主要是一個玩法的集成，使用apache kyuubi 簡化spark 的使用，而且如果我們集成數據庫存儲格式也是很方便的（感謝網易做出的貢獻） 參考圖 簡單說明： 我們直接基於apache kyuubi 進行delta lake 的操作，數據存儲到minio s3 中 ...
Apache Kyuubi 在 T3 出行的深度實踐
支撐了80%的離線作業，日作業量在1W+ 大多數場景比 Hive 性能提升了3-6倍 多租戶、並發的場景更加高效穩定 T3出行是一家基於車聯網驅動的智慧出行平台，擁有海量且豐富的數據源。因為車聯網數據的多樣性，T3出行構建了以 Apache Hudi 為基礎的企業級數據湖，提供 ...
自行編譯spark適配CDH 6.3.2的spark-sql
一開始覺得簡單，參考某些文章用apache編譯后的2.4.0的包直接替換就行，發現搞了好久spark-sql都不成功。 於是下決心參考網上的自己編譯了。 軟件版本：jdk-1.8、maven-3.6.3、scala-2.11.12 、spark-3.1.2 1.下載軟件 ...
Apache Hudi集成Spark SQL搶先體驗
Apache Hudi集成Spark SQL搶先體驗 1. 摘要 社區小伙伴一直期待的Hudi整合Spark SQL的PR正在積極Review中並已經快接近尾聲，Hudi集成Spark SQL預計會在下個版本正式發布，在集成Spark SQL后，會極大方便用戶對Hudi表的DDL/DML操作 ...
org.apache.spark.sql.functions匯總
測試數據： id,name,age,comment,date 1,lyy,28,"aaa bbb",20180102020325 ...
關於CDH中開發Spark
文章發自http://www.cnblogs.com/hark0623/p/4167363.html 轉發請注明 注意：基於CDH進行Spark開發時，使用高版本的apache原生包即可；不需要使用CDH中的spark開發包，不然會死都不知道死的。另外，其它生態項目 ...