Apache Hudi與Apache Flink集成
感謝王祥虎@wangxianghu 投稿 Apache Hudi是由Uber開發並開源的數據湖框架，它於2019年1月進入Apache孵化器孵化，次年5月份順利畢業晉升為Apache頂級項目。是當前最為熱門的數據湖框架之一。 1. 為何要解耦 Hudi自誕生至今一直使用Spark ...
原文：Apache Hudi集成Apache Zeppelin實戰
. 簡介 Apache Zeppelin 是一個提供交互數據分析且基於Web的筆記本。方便你做出可數據驅動的 可交互且可協作的精美文檔，並且支持多種語言，包括 Scala 使用 Apache Spark Python Apache Spark SparkSQL Hive Markdown Shell等等。當前Hive與SparkSQL已經支持查詢Hudi的讀優化視圖和實時視圖。所以理論上Zepp ...
2020-04-28 09:17 0 1086 推薦指數：
相關推薦
Apache Hudi集成Spark SQL搶先體驗
Apache Hudi集成Spark SQL搶先體驗 1. 摘要 社區小伙伴一直期待的Hudi整合Spark SQL的PR正在積極Review中並已經快接近尾聲，Hudi集成Spark SQL預計會在下個版本正式發布，在集成Spark SQL后，會極大方便用戶對Hudi表的DDL/DML操作 ...
Apache Hudi 與 Hive 集成手冊
1. Hudi表對應的Hive外部表介紹 Hudi源表對應一份HDFS數據，可以通過Spark，Flink 組件或者Hudi客戶端將Hudi表的數據映射為Hive外部表，基於該外部表， Hive可以方便的進行實時視圖，讀優化視圖以及增量視圖的查詢。 2. Hive對Hudi的集成 ...
生態 | Apache Hudi集成Alluxio實踐
原文鏈接：https://mp.weixin.qq.com/s/sT2-KK23tvPY2oziEH11Kw 1. 什么是Alluxio Alluxio為數據驅動型應用和存儲系統構建了橋梁, 將數 ...
Apache Zeppelin是什么？
不多說，直接上干貨！ Apache Zeppelin提供了web版的類似ipython的notebook，用於做數據分析和可視化。背后可以接入不同的數據處理引擎，包括spark, hive, tajo等，原生支持scala, java, shell ...
真香！PySpark整合Apache Hudi實戰
1. 准備 Hudi支持Spark-2.x版本，你可以點擊如下鏈接安裝Spark，並使用pyspark啟動 spark-avro模塊需要在--packages顯示指定 spark-avro和spark的版本必須匹配 本示例中，由於依賴spark-avro_2.11 ...
Apache Hudi + AWS S3 + Athena實戰
Apache Hudi在阿里巴巴集團、EMIS Health，LinkNovate，Tathastu.AI，騰訊，Uber內使用，並且由Amazon AWS EMR和Google雲平台支持，最近Amazon Athena支持了在Amazon S3上查詢Apache Hudi數據集的能力，本博客 ...
Apache Zeppelin是什么？
Apache Zeppelin提供了web版的類似ipython的notebook，用於做數據分析和可視化。背后可以接入不同的數據處理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整體展現和使用形式和Databricks ...