第 章 Spark 整体概述 . 整体概念 . RDD 抽象 . 计算抽象 . 集群模式 . RPC 网络通信抽象 . 启动 Standalone 集群 . 核心组件 . 核心组件交互流程 . Block 管理 . 整体应用第 章 Spark 通信架构 . 通信组件概览 . Endpoint 启动过程 . Endpoint Send amp Ask 流程 . Endpoint Receive 流 ...
2019-05-02 20:12 0 797 推荐指数：
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges ...
共用一种存储形态，在展示形态上可以以数据集来表示，也可以图的形式来表示。 2、Spark Grap ...
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特点1.3 Spark 的用户和用途第2章 Spark 集群安装2.1 集群角色2.2 机器准备2.3 下载 Spark 安装包2.4 配置 Spark Standalone 模式2.5 配置 Spark History ...
第1章 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 为什么要学习 Spark Streaming1.3 Spark 与 Storm 的对比第2章 运行 Spark Streaming第3章 架构与抽象第4章 Spark Streaming 解析 ...
一.Client提交模式 提交命令： ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib ...
命令行查询流程2.2 IDEA 创建 Spark SQL 程序第3章 Spark SQL 解析3.1 ...
第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜（Data Skew）1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 ...
上篇笔记记录了Local模式的一些内容，但是实际的应用中很少有使用Local模式的，只是为了我们方便学习和测试。真实的生产环境中，Standalone模式更加合适一点。 1、基础概述 Standalone不是单机模式，它是集群，但是是基于Spark独立调度器的集群，也就是说它是Spark特有 ...
