Apache Kyuubi 助力 CDH 解鎖 Spark SQL
Apache Kyuubi(Incubating)（下文簡稱Kyuubi）是⼀個構建在Spark SQL之上的企業級JDBC網關，兼容HiveServer2通信協議，提供高可用、多租戶能力。Kyuubi 具有可擴展的架構設計，社區正在努力使其能夠支持更多通信協議（如 RESTful、 MySQL ...
原文：看CarbonData如何用四招助力Apache Spark
摘要：CarbonData 在 Apache Spark 和存儲系統之間起到中介服務的作用，為 Spark 提供的 個重要功能。 本文分享自華為雲社區 Make Apache Spark better with CarbonData ，原文作者：大數據修行者 。 Spark 無疑是一個強大的處理引擎和一個用於更快處理的分布式集群計算框架。不幸的是，Spark在一些方面也存在不足。如果我們將 Ap ...
2021-06-30 16:09 0 188 推薦指數：
相關推薦
記一次Apache Carbondata PR的經歷
前言 前段時間有幸接觸到Apache Carbondata，試用過程中發現了一個小小的問題，並且又很快的定位到了問題。然后在社區群里反映了下，負責人問願不願意提個JIRA,PR，然后我在沒有任何開源項目PR過的情況下竟然欣然答應了。（可能跟ZB心有關吧o(╥﹏╥)o）然后來說 ...
在CDH上用外部Spark2.2.1安裝和配置 CarbonData
在CDH上用外部Spark2.2.1 （hadoop free版本）standalone 模式安裝和配置 CarbonData 一、cdh中外部spark（standalone模式安裝） 1、把安裝包 ...
深度對比Apache CarbonData、Hudi和Open Delta三大開源數據湖方案
摘要：今天我們就來解構數據湖的核心需求，同時深度對比Apache CarbonData、Hudi和Open Delta三大解決方案，幫助用戶更好地針對自身場景來做數據湖方案選型。 背景 我們已經看到，人們更熱衷於高效可靠的解決方案，擁有為數據湖提供應對突變和事務處理的能力。在數據湖中 ...
Spark入門（二）--如何用Idea運行我們的Spark項目
用Idea搭建我們的Spark環境 用IDEA搭建我們的環境有很多好處，其中最大的好處，就是我們甚至可以在工程當中直接運行、調試我們的代碼，在控制台輸出我們的結果。或者可以逐行跟蹤代碼，了解spark運行的機制。因此我們選擇了idea，當然Idea不是首選，當然也可以用其他工具 ...
如何用Jupyter Notebook打開Spark
電腦已經裝了anaconda python，然后下載了spark2.1.0。因為版本太新，所以網上和書上的一些內容已經不再適用。比如關於如何使用IPython和Jupyter，教程給出的方法是用如下語句打開Spark即可進入IPython或者IPython Notebook ...
【Spark學習】Apache Spark配置
Spark版本：1.1.1 本文系從官方文檔翻譯而來，轉載請尊重譯者的工作，注明以下鏈接： http://www.cnblogs.com/zhangningbo/p/4137969.html Spark配置 Spark屬性 動態加載Spark屬性 查看 ...
什么是.NET for Apache Spark？
什么是.NET for Apache Spark？ 分享一個.NET平台開源免費跨平台的大數據分析框架.NET for Apache Spark for Apache Spark 今天早上六點半左右微信群里就看到張隊發的關於.NET Spark ...