Spark入門實戰系列--6.SparkSQL（上）--SparkSQL簡介
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、SparkSQL的發展歷程 1.1 Hive and Shark SparkSQL的前身是Shark，給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具，Hive應運而生 ...
原文：Spark入門實戰系列--6.SparkSQL（中）--深入了解SparkSQL運行計划及調優
注 該系列文章以及使用到安裝包 測試數據 可以在 傾情大奉送 Spark入門實戰系列 獲取 . 運行環境說明 . . 硬軟件環境 l 主機操作系統：Windows 位，雙核 線程，主頻 . G， G內存 l 虛擬軟件：VMware Workstation . . build l 虛擬機操作系統：CentOS . 位，單核 l 虛擬機運行環境： JDK： . . 位 Hadoop： . . 需要編 ...
2015-08-27 06:59 0 17565 推薦指數：
相關推薦
Spark入門實戰系列--6.SparkSQL（下）--Spark實戰應用
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、運行環境說明 1.1 硬軟件環境 l 主機操作系統：Windows 64位，雙核4線程，主頻2.2G，10G內存 l 虛擬軟件：VMware® Workstation 9.0.0 ...
sparkSQL1.1入門之四：深入了解sparkSQL執行計划
/console，來加深讀者對sparkSQL的執行計划的理解。 1： ...
SparkSQL調優
1、執行計划（過往記憶https://www.iteblog.com/archives/2562.html） 2、邏輯計划優化方法： 謂詞下推，列裁剪，常量替換，常量累加 3、優化方法 數據源方面： 1、hive 使用parquet格式，不要用textfile。列式 ...
JVM調優和深入了解性能優化
優 2、 大部分需要GC調優的的，不是參數問題，是代碼問題 3、 在實際使用中，分析GC情況優化代 ...
sparksql系列(六) SparkSql中UDF、UDAF、UDTF
RDD沒有可以這種可以注冊的方法。 在使用sparksql過程中發現UDF還是有點用的所以，還是單獨寫一篇博客記錄一下。 UDF=》一個輸入一個輸出。相當於map UDAF=》多個輸入一個輸出。相當於reduce UDTF=》一個輸入多個輸出。相當於flatMap。（需要hive環境，暫時 ...
Spark SQL 編程API入門系列之SparkSQL數據源
不多說，直接上干貨！ SparkSQL數據源：從各種數據源創建DataFrame 因為 spark sql，dataframe，datasets 都是共用 spark sql 這個庫的，三者共享同樣的代碼優化，生成以及執行流程，所以 sql ...
sparksql系列(八) sparksql優化
公司數倉遷移完成了，現在所有的數據一天6T的用戶行為數據全部由一個spark腳本，關聯用戶屬性數據生成最終想要的數據。里面讓我感觸最深的是資源的使用spark優化，再此記錄一篇關於sparksql優化的文章，專門總結以下現在使用的資源優化及以前使用的資源優化。 一：資源優化 ...