大數據技術之_19_Spark學習_05_Spark GraphX 應用解析小結
========== Spark GraphX 概述 ==========1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一個模塊，主要用於進行以圖為核心的計算還有分布式圖的計算。 （2）GraphX 他的底層計算也是 RDD 計算，它和 RDD ...
原文：大數據技術之_19_Spark學習_04_Spark Streaming 應用解析 + Spark Streaming 概述、運行、解析 + DStream 的輸入、轉換、輸出 + 優化
第 章 Spark Streaming 概述 . 什么是 Spark Streaming . 為什么要學習 Spark Streaming . Spark 與 Storm 的對比第 章 運行 Spark Streaming第 章 架構與抽象第 章 Spark Streaming 解析 . 初始化 StreamingContext . 什么是 DStreams . DStream 的輸入 . . ...
2019-04-29 18:42 0 520 推薦指數：
相關推薦
大數據技術之_19_Spark學習_05_Spark GraphX 應用解析 + Spark GraphX 概述、解析 + 計算模式 + Pregel API + 圖算法參考代碼 + PageRank 實例
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 彈性分布式屬性圖1.3 運行圖計算程序第2章 Spark GraphX 解析2.1 存儲模式2.1.1 圖存儲模式2.1.2 GraphX 存儲模式2.2 vertices、edges ...
大數據技術之_19_Spark學習_01_Spark 基礎解析 + Spark 概述 + Spark 集群安裝 + 執行 Spark 程序
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特點1.3 Spark 的用戶和用途第2章 Spark 集群安裝2.1 集群角色2.2 機器准備2.3 下載 Spark 安裝包2.4 配置 Spark Standalone 模式2.5 配置 Spark History ...
大數據技術之_19_Spark學習_03_Spark SQL 應用解析 + Spark SQL 概述、解析 、數據源、實戰 + 執行 Spark SQL 查詢 + JDBC/ODBC 服務器
第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的區別第2章 執行 Spark SQL 查詢2.1 ...
大數據技術之_19_Spark學習_06_Spark 源碼解析 + Spark 通信架構、腳本解析、standalone 模式啟動、提交流程 + Spark Shuffle 過程 + Spark 內存管理與分配 + Spark 部署模式
第1章 Spark 整體概述1.1 整體概念1.2 RDD 抽象1.3 計算抽象1.4 集群模式1.5 RPC 網絡通信抽象1.6 啟動 Standalone 集群1.7 核心組件1.8 核心組件交互流程1.9 Block 管理1.10整體應用第2章 Spark 通信架構2.1 通信組件概覽 ...
大數據技術之_19_Spark學習_07_Spark 性能調優 + 數據傾斜調優 + 運行資源調優 + 程序開發調優 + Shuffle 調優 + GC 調優 + Spark 企業應用案例
第1章 Spark 性能優化1.1 調優基本原則1.1.1 基本概念和原則1.1.2 性能監控方式1.1.3 調優要點1.2 數據傾斜優化1.2.1 為何要處理數據傾斜（Data Skew）1.2.2 如何定位導致數據傾斜的代碼1.2.3 如何緩解/消除數據傾斜1.3 運行資源調優1.3.1 ...
Spark Streaming運行流程及源碼解析（一）
本系列主要描述Spark Streaming的運行流程，然后對每個流程的源碼分別進行解析 之前總聽同事說Spark源碼有多么棒，咱也不知道，就是瘋狂點頭。今天也來擼一下Spark源碼。 對Spark的使用也就是Spark Streaming使用的多一點，所以就拿Spark ...
Spark Streaming源碼分析 – DStream
A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous sequence of RDDs (of the same type) representing ...