Spark入門實戰系列--6.SparkSQL（下）--Spark實戰應用
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、運行環境說明 1.1 硬軟件環境 l 主機操作系統：Windows 64位，雙核4線程，主頻2.2G，10G內存 l 虛擬軟件：VMware® Workstation 9.0.0 ...
原文：Spark入門實戰系列--4.Spark運行架構
注 該系列文章以及使用到安裝包 測試數據 可以在 傾情大奉送 Spark入門實戰系列 獲取 Spark運行架構 . 術語定義 lApplication：Spark Application的概念和Hadoop MapReduce中的類似，指的是用戶編寫的Spark應用程序，包含了一個Driver 功能的代碼和分布在集群中多個節點上運行的Executor代碼 lDriver：Spark中的Drive ...
2015-08-19 06:51 11 34945 推薦指數：
相關推薦
傾情大奉送--Spark入門實戰系列
這一兩年Spark技術很火，自己也湊熱鬧，反復的試驗、研究，有痛苦萬分也有欣喜若狂，抽空把這些整理成文章共享給大家。這個系列基本上圍繞了Spark生態圈進行介紹，從Spark的簡介、編譯、部署，再到編程模型、運行架構，最后介紹其組件SparkSQL、Spark Streaming、Spark ...
Spark入門實戰系列--7.Spark Streaming（下）--實時流計算Spark Streaming實戰
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、實例演示 1.1 流數據模擬器 1.1.1 流數據說明 在實例演示中模擬實際情況，需要源源不斷地接入流數據，為了在演示過程中更接近真實環境將定義流數據模擬器。該模擬器主要功能 ...
Spark運行架構
一 Spark與hadoop Hadoop有兩個核心模塊，分布式存儲模塊HDFS和分布式計算模塊Mapreduce Spark 支持多種編程語言，包括 Java、Python、R 和 Scala，同時 Spark 也支持 Hadoop 的底層存儲系統 HDFS，但 Spark 不依賴 ...
Spark入門實戰系列--6.SparkSQL（中）--深入了解SparkSQL運行計划及調優
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1.1 運行環境說明 1.1.1 硬軟件環境 l 主機操作系統：Windows 64位，雙核4線程，主頻2.2G，10G內存 l 虛擬軟件：VMware® Workstation ...
Spark入門實戰系列--2.Spark編譯與部署（下）--Spark編譯安裝
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、編譯Spark Spark可以通過SBT和Maven兩種方式進行編譯，再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具 ...
Spark入門實戰系列--2.Spark編譯與部署（下）--Spark編譯安裝
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、編譯Spark Spark可以通過SBT和Maven兩種方式進行編譯，再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具，而Maven安裝則需要maven ...
Spark入門實戰系列--7.Spark Streaming（上）--實時流計算Spark Streaming原理介紹
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、Spark Streaming簡介 1.1 概述 Spark Streaming 是Spark核心API的一個擴展，可以實現高吞吐量的、具備容錯機制的實時流數據的處理。支持從多種數據源獲取數據 ...