Spark入門實戰系列--6.SparkSQL（下）--Spark實戰應用
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、運行環境說明 1.1 硬軟件環境 l 主機操作系統：Windows 64位，雙核4線程，主頻2.2G，10G內存 l 虛擬軟件：VMware® Workstation 9.0.0 ...
原文：傾情大奉送--Spark入門實戰系列
這一兩年Spark技術很火，自己也湊熱鬧，反復的試驗 研究，有痛苦萬分也有欣喜若狂，抽空把這些整理成文章共享給大家。這個系列基本上圍繞了Spark生態圈進行介紹，從Spark的簡介 編譯 部署，再到編程模型 運行架構，最后介紹其組件SparkSQL Spark Streaming Spark MLib和Spark GraphX等。文章內容的整理一般是先介紹原理，隨后是實戰例子，由於面向的是入門讀者 ...
2015-08-03 16:38 67 123225 推薦指數：
相關推薦
Spark入門實戰系列--4.Spark運行架構
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、 Spark運行架構 1.1 術語定義 lApplication：Spark Application的概念和Hadoop MapReduce中的類似，指的是用戶編寫的Spark應用程序 ...
Spark入門實戰系列--5.Hive（下）--Hive實戰
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、Hive操作演示 1.1 內部表 1.1.1 創建表並加載數據 第一步 啟動HDFS、YARN和Hive，啟動完畢后創建Hive數據庫 hive>create database ...
Spark入門實戰系列--7.Spark Streaming（下）--實時流計算Spark Streaming實戰
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、實例演示 1.1 流數據模擬器 1.1.1 流數據說明 在實例演示中模擬實際情況，需要源源不斷地接入流數據，為了在演示過程中更接近真實環境將定義流數據模擬器。該模擬器主要功能 ...
Spark入門實戰系列--5.Hive（上）--Hive介紹及部署
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、Hive介紹 1.1 Hive介紹 Hive是一個基於Hadoop的開源數據倉庫工具，用於存儲和處理海量結構化數據。它是Facebook 2008年8月開源的一個數據倉庫框架，提供了類似於 ...
Spark入門實戰系列--3.Spark編程模型（上）--編程模型及SparkShell實戰
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、Spark編程模型 1.1 術語定義 l應用程序（Application）： 基於Spark的用戶程序，包含了一個Driver Program 和集群中多個的Executor； l驅動程序 ...
Spark入門實戰系列--2.Spark編譯與部署（下）--Spark編譯安裝
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、編譯Spark Spark可以通過SBT和Maven兩種方式進行編譯，再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具 ...
Spark入門實戰系列--6.SparkSQL（上）--SparkSQL簡介
【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、SparkSQL的發展歷程 1.1 Hive and Shark SparkSQL的前身是Shark，給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具，Hive應運而生 ...