看CarbonData如何用四招助力Apache Spark
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个 ...
原文：Apache Kyuubi 助力 CDH 解锁 Spark SQL
Apache Kyuubi Incubating 下文简称Kyuubi 是 个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer 通信协议，提供高可用 多租户能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议 如 RESTful MySQL 和计算引擎 如Flink 。 Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServ ...
2021-11-18 16:50 0 1749 推荐指数：
相关推荐
apache kyuubi 参考架构集成
apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台（当前主要基于spark，当然也会支持其他引擎）使用apache kyuubi 的好处是支持开了多租户，同时利用apache kyuubi 我们可以方便的进行数据分析开发，以及进行数据湖应用开发（可以方 ...
apache kyuubi + dremio 集成试用
主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献） 参考图 简单说明： 我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中 ...
Apache Kyuubi 在 T3 出行的深度实践
支撑了80%的离线作业，日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台，拥有海量且丰富的数据源。因为车联网数据的多样性，T3出行构建了以 Apache Hudi 为基础的企业级数据湖，提供 ...
自行编译spark适配CDH 6.3.2的spark-sql
一开始觉得简单，参考某些文章用apache编译后的2.4.0的包直接替换就行，发现搞了好久spark-sql都不成功。 于是下决心参考网上的自己编译了。 软件版本：jdk-1.8、maven-3.6.3、scala-2.11.12 、spark-3.1.2 1.下载软件 ...
Apache Hudi集成Spark SQL抢先体验
Apache Hudi集成Spark SQL抢先体验 1. 摘要 社区小伙伴一直期待的Hudi整合Spark SQL的PR正在积极Review中并已经快接近尾声，Hudi集成Spark SQL预计会在下个版本正式发布，在集成Spark SQL后，会极大方便用户对Hudi表的DDL/DML操作 ...
org.apache.spark.sql.functions汇总
测试数据： id,name,age,comment,date 1,lyy,28,"aaa bbb",20180102020325 ...
关于CDH中开发Spark
文章发自http://www.cnblogs.com/hark0623/p/4167363.html 转发请注明 注意：基于CDH进行Spark开发时，使用高版本的apache原生包即可；不需要使用CDH中的spark开发包，不然会死都不知道死的。另外，其它生态项目 ...