找了這篇文章看了一下面試題<Spark 和hadoop的一些面試題（准備）> http://blog.csdn.net/qiezikuaichuan/article/details/51578743 其中有一道題目很不錯，詳見： http ...

一、spark streaming和storm有何區別？ 一個實時毫秒，一個准實時亞秒，不過storm的吞吐率比較低。 二、spark有哪些組件？ Master：管理集群和節點，不參與計算。 Worker：計算節點，進程本身不參與計算，和master匯報。 Driver：運行 ...

Spark系列面試題 Spark面試題（一） Spark面試題（二） Spark面試題（三） Spark面試題（四） Spark面試題（五）——數據傾斜調優 Spark面試題（六）——Spark資源調優 Spark面試題（七）——Spark程序開發調優 ...

1、Hive內部表和外部表的區別？ 　　1、在導入數據到外部表，數據並沒有移動到自己的數據倉庫目錄下，也就是說外部表中的數據並不是由它自己來管理的！而表則不一樣； 　　2、在刪除表的時候，Hive將 ...

1、把數據倉庫從傳統關系數據庫轉到hadoop有什么優勢？ 原關系存儲方式昂貴 空間有限 hadoop支持結構化（例如 RDBMS），非結構化（例如 images，PDF，docs ）和半結構化（例如 logs，XMLs）的數據可以以可擴展和容錯的方式存儲在較便宜的商品機器中 ...

1、hadoop運行的原理?xxxxxx 2、mapreduce的原理?xxxxxx 3、HDFS存儲的機制?xxxxxx 4、舉一個簡單的例子說明mapreduce是怎么來運行的 ?xxxxxx 5、面試的人給你出一些問題,讓你用mapreduce來實現？比如:現在有10個文件夾,每個 ...

RDD怎么理解？ RDD 是 Spark 的靈魂，也稱為彈性分布式數據集。一個 RDD 代表一個可以被分區的只讀數據集。RDD 內部可以有許多分區(partitions)，每個分區又擁有大量的記錄(records)。Rdd的五個特征： 1. dependencies: 建立 RDD 的依賴關系 ...

一、spark集群運算的模式 Spark 有很多種模式，最簡單就是單機本地模式，還有單機偽分布式模式，復雜的則運行在集群中，目前能很好的運行在 Yarn和 Mesos 中，當然 Spark 還有自帶的 Standalone 模式，對於大多數情況 Standalone 模式就足夠了，如果企業 ...