找了这篇文章看了一下面试题<Spark 和hadoop的一些面试题（准备）> http://blog.csdn.net/qiezikuaichuan/article/details/51578743 其中有一道题目很不错，详见： http ...

一、spark streaming和storm有何区别？ 一个实时毫秒，一个准实时亚秒，不过storm的吞吐率比较低。 二、spark有哪些组件？ Master：管理集群和节点，不参与计算。 Worker：计算节点，进程本身不参与计算，和master汇报。 Driver：运行 ...

Spark系列面试题 Spark面试题（一） Spark面试题（二） Spark面试题（三） Spark面试题（四） Spark面试题（五）——数据倾斜调优 Spark面试题（六）——Spark资源调优 Spark面试题（七）——Spark程序开发调优 ...

1、Hive内部表和外部表的区别？ 　　1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样； 　　2、在删除表的时候，Hive将 ...

1、把数据仓库从传统关系数据库转到hadoop有什么优势？ 原关系存储方式昂贵 空间有限 hadoop支持结构化（例如 RDBMS），非结构化（例如 images，PDF，docs ）和半结构化（例如 logs，XMLs）的数据可以以可扩展和容错的方式存储在较便宜的商品机器中 ...

1、hadoop运行的原理?xxxxxx 2、mapreduce的原理?xxxxxx 3、HDFS存储的机制?xxxxxx 4、举一个简单的例子说明mapreduce是怎么来运行的 ?xxxxxx 5、面试的人给你出一些问题,让你用mapreduce来实现？比如:现在有10个文件夹,每个 ...

RDD怎么理解？ RDD 是 Spark 的灵魂，也称为弹性分布式数据集。一个 RDD 代表一个可以被分区的只读数据集。RDD 内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。Rdd的五个特征： 1. dependencies: 建立 RDD 的依赖关系 ...

一、spark集群运算的模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业 ...