spark 有三大引擎，spark core、sparkSQL、sparkStreaming， spark core 的关键抽象是 SparkContext、RDD； SparkSQL 的关键抽象 ...

原理简述 Yarn 模式是把资源统一交给 Yarn 集群来管理，其优点在于实现了 application 的多样性，如 MapReduce 程序、HBase 集群、Storm 集群、spark 集群 ...

spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 h ...

数据倾斜 为什么会数据倾斜 spark 中的数据倾斜并不是说原始数据存在倾斜，原始数据都是一个一个的 block，大小都一样，不存在数据倾斜； 而是指 shuffle 过程中产生的数据倾斜，由于 ...

spark 之所以需要调优，一是代码执行效率低，二是经常 OOM 内存溢出 内存溢出无非两点： 1. Driver 内存不够 2. Executor 内存不够 Driver 内存不够 ...

SparkContext SparkContext 是在 spark 库中定义的一个类，作为 spark 库的入口点； 它表示连接到 spark，在进行 spark 操作之前必须先创建一个 Spa ...

执行如下代码时报错 执行命令 报错内容 在执行 count 时没什么问题，各种参数影响不大；但是在执行 collect 时，总是报错 原因 ...

spark on yarn 的执行过程在 yarn RM 上无法直接查看，即 http://192.168.10.10:8088，这对于调试程序很不方便，所以需要手动配置 配置方法 1. 配 ...

问题描述与分析 题目中的问题大致可以描述为： 由于某个 Executor 没有按时向 Driver 发送心跳，而被 Driver 判断该 Executor 已挂掉，此时 Driver 要把 该 E ...

hadoop 是 java 开发的，原生支持 java；spark 是 scala 开发的，原生支持 scala； spark 还支持 java、python、R，本文只介绍 python spa ...