Hadoop/Spark相关面试问题总结
Hadoop/Spark相关面试问题总结 面试回来之后把其中比较重要的问题记了下来写了个总结： （答案在后面） 1、简答说一下hadoop的map-reduce编程模型 2、hadoop的TextInputFormat作用是什么，如何自定义实现 3、hadoop ...
原文：spark面试总结3
Spark core面试篇 .Spark使用parquet文件存储格式能带来哪些好处 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况 会比使用csv等普通文件速度提升 倍左右，在一些普通文件系统无法在spark上成功运行的情况 下，使 ...
2019-04-15 20:04 0 502 推荐指数：
相关推荐
Spark总结
#####1. 翻译 Apache Spark是一个快速的、通用的集群计算系统。它提供Java、Scala、Python和R中的高级api，以及一个支持通用执行图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的[Spark SQL]、用于机器学习的[MLlib]、用于 ...
Spark面试题(二)
一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。 二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行 ...
Spark面试题（四）
Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 ...
Spark面试题（二）
首发于我的个人博客：Spark面试题（二） 1、Spark有哪两种算子？ Transformation（转化）算子和Action（执行）算子。 2、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子？ 在我们的开发过程中，能避免则尽可能避免使用reduceByKey ...
spark面试题-1
原文链接：https://blog.csdn.net/Lwj879525930/article/details/82559596 1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最 ...
Spark面试题
Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 ...
Spark面试整理
一、spark的优势： 1、每一个作业独立调度，可以把所有的作业做一个图进行调度，各个作业之间相互依赖，在调度过程中一起调度，速度快。 2、所有过程都基于内存，所以通常也将Spark称作是基于内存的迭代式运算框架。 3、spark提供了更丰富的算子，让操作更方便。 二、为什么Spark ...