大數據技術之_19_Spark學習_05_Spark GraphX 應用解析小結
========== Spark GraphX 概述 ==========1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一個模塊，主要用於進行以圖為核心的計算還有分布式圖的計算。 （2）GraphX 他的底層計算也是 RDD 計算，它和 RDD ...
原文：大數據技術之_19_Spark學習_01_Spark 基礎解析 + Spark 概述 + Spark 集群安裝 + 執行 Spark 程序
第 章 Spark 概述 . 什么是 Spark . Spark 特點 . Spark 的用戶和用途第 章 Spark 集群安裝 . 集群角色 . 機器准備 . 下載 Spark 安裝包 . 配置 Spark Standalone 模式 . 配置 Spark History Server . 配置 Spark HA . 配置 Spark Yarn 模式第 章 執行 Spark 程序 . 執行第一 ...
2019-04-21 15:58 0 555 推薦指數：
相關推薦
大數據技術之_19_Spark學習_05_Spark GraphX 應用解析 + Spark GraphX 概述、解析 + 計算模式 + Pregel API + 圖算法參考代碼 + PageRank 實例
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 彈性分布式屬性圖1.3 運行圖計算程序第2章 Spark GraphX 解析2.1 存儲模式2.1.1 圖存儲模式2.1.2 GraphX 存儲模式2.2 vertices、edges ...
大數據技術之_19_Spark學習_04_Spark Streaming 應用解析 + Spark Streaming 概述、運行、解析 + DStream 的輸入、轉換、輸出 + 優化
第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 為什么要學習 Spark Streaming1.3 Spark 與 Storm 的對比第2章 運行 Spark Streaming第3章 架構與抽象第4章 Spark Streaming 解析 ...
大數據技術之_19_Spark學習_03_Spark SQL 應用解析 + Spark SQL 概述、解析 、數據源、實戰 + 執行 Spark SQL 查詢 + JDBC/ODBC 服務器
第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的區別第2章 執行 Spark SQL 查詢2.1 ...
大數據技術之_19_Spark學習_06_Spark 源碼解析 + Spark 通信架構、腳本解析、standalone 模式啟動、提交流程 + Spark Shuffle 過程 + Spark 內存管理與分配 + Spark 部署模式
第1章 Spark 整體概述1.1 整體概念1.2 RDD 抽象1.3 計算抽象1.4 集群模式1.5 RPC 網絡通信抽象1.6 啟動 Standalone 集群1.7 核心組件1.8 核心組件交互流程1.9 Block 管理1.10整體應用第2章 Spark 通信架構2.1 通信組件概覽 ...
大數據技術之_19_Spark學習_07_Spark 性能調優 + 數據傾斜調優 + 運行資源調優 + 程序開發調優 + Shuffle 調優 + GC 調優 + Spark 企業應用案例
第1章 Spark 性能優化1.1 調優基本原則1.1.1 基本概念和原則1.1.2 性能監控方式1.1.3 調優要點1.2 數據傾斜優化1.2.1 為何要處理數據傾斜（Data Skew）1.2.2 如何定位導致數據傾斜的代碼1.2.3 如何緩解/消除數據傾斜1.3 運行資源調優1.3.1 ...
【大數據】Spark內核解析
1. Spark 內核概述 Spark內核泛指Spark的核心運行機制，包括Spark核心組件的運行機制、Spark任務調度機制、Spark內存管理機制、Spark核心功能的運行原理等，熟練掌握Spark內核原理，能夠幫助我們更好地完成Spark代碼設計，並能夠幫助我們准確鎖定項目運行 ...
【原創】大數據基礎之Spark（1）Spark Submit即Spark任務提交過程
Spark2.1.1 一 Spark Submit本地解析 1.1 現象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 進程 ...