原文:Spark入門實戰系列--6.SparkSQL(下)--Spark實戰應用

注 該系列文章以及使用到安裝包 測試數據 可以在 傾情大奉送 Spark入門實戰系列 獲取 運行環境說明 . 硬軟件環境 l 主機操作系統:Windows 位,雙核 線程,主頻 . G, G內存 l 虛擬軟件:VMware Workstation . . build l 虛擬機操作系統:CentOS 位,單核 l 虛擬機運行環境: JDK: . . 位 Hadoop: . . 需要編譯為 位 S ...

2015-08-31 09:45 12 29471 推薦指數:

查看詳情

Spark入門實戰系列--6.SparkSQL(上)--SparkSQL簡介

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、SparkSQL的發展歷程 1.1 Hive and Shark SparkSQL的前身是Shark,給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具,Hive應運而生 ...

Wed Aug 26 17:03:00 CST 2015 31 137349
Spark入門實戰系列--7.Spark Streaming()--實時流計算Spark Streaming實戰

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、實例演示 1.1 流數據模擬器 1.1.1 流數據說明 在實例演示中模擬實際情況,需要源源不斷地接入流數據,為了在演示過程中更接近真實環境將定義流數據模擬器。該模擬器主要功能 ...

Mon Sep 07 15:01:00 CST 2015 14 25727
Spark入門實戰系列--5.Hive()--Hive實戰

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、Hive操作演示 1.1 內部表 1.1.1 創建表並加載數據 第一步 啟動HDFS、YARN和Hive,啟動完畢后創建Hive數據庫 hive>create database ...

Mon Aug 24 16:50:00 CST 2015 2 14725
Spark入門實戰系列--2.Spark編譯與部署()--Spark編譯安裝

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、編譯Spark Spark可以通過SBT和Maven兩種方式進行編譯,再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具 ...

Wed Dec 06 19:22:00 CST 2017 0 1908
Spark入門實戰系列--8.Spark MLlib()--機器學習庫SparkMLlib實戰

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、MLlib實例 1.1 聚類實例 1.1.1 算法說明 聚類(Cluster analysis)有時也被翻譯為簇類,其核心任務是:將一組目標object划分為若干個簇,每個簇之間 ...

Thu Sep 10 16:41:00 CST 2015 23 64464
Spark入門實戰系列--3.Spark編程模型()--IDEA搭建及實戰

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、 安裝IntelliJ IDEA IDEA 全稱 IntelliJ IDEA,是java語言開發的集成環境,IntelliJ在業界被公認為最好的java開發工具之一,尤其在智能代碼助手、代碼自動 ...

Mon Aug 17 17:09:00 CST 2015 13 31725
Spark入門實戰系列--2.Spark編譯與部署()--Spark編譯安裝

【注】該系列文章以及使用到安裝包/測試數據 可以在《傾情大奉送--Spark入門實戰系列》獲取 1、編譯Spark Spark可以通過SBT和Maven兩種方式進行編譯,再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具,而Maven安裝則需要maven ...

Wed Aug 12 16:36:00 CST 2015 60 26311
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM