spark基本概念整理
app rdd 算子 partition job stage task ...
原文：Spark面试整理
一 spark的优势： 每一个作业独立调度，可以把所有的作业做一个图进行调度，各个作业之间相互依赖，在调度过程中一起调度，速度快。 所有过程都基于内存，所以通常也将Spark称作是基于内存的迭代式运算框架。 spark提供了更丰富的算子，让操作更方便。 二 为什么Spark比Map Reduced运算速度快：Spark在计算模型和调度上比MR做了更多的优化，不需要过多地和磁盘交互。 Spark计算 ...
2020-03-28 17:29 0 1849 推荐指数：
相关推荐
Spark面试题(二)
一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。 二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行 ...
Spark面试题（四）
Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 ...
spark面试总结3
Spark core面试篇03 1.Spark使用parquet文件存储格式能带来哪些好处？ 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度 ...
Spark面试题（二）
首发于我的个人博客：Spark面试题（二） 1、Spark有哪两种算子？ Transformation（转化）算子和Action（执行）算子。 2、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子？ 在我们的开发过程中，能避免则尽可能避免使用reduceByKey ...
spark面试题-1
原文链接：https://blog.csdn.net/Lwj879525930/article/details/82559596 1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最 ...
Spark面试题
Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 ...
Spark面试题
RDD怎么理解？ RDD 是 Spark 的灵魂，也称为弹性分布式数据集。一个 RDD 代表一个可以被分区的只读数据集。RDD 内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。Rdd的五个特征： 1. dependencies: 建立 RDD 的依赖关系 ...