hadoop面試題(自己整理版)

1、 hadoop 運行原理
2、 mapreduce 原理
3、 mapreduce 的優化
4、舉一個簡單的例子說下 mapreduce 是怎么運行的
5、 hadoop 中 combiner 的作用
6、簡述 hadoop 的安裝
7、請列出 hadoop 的進程名
8、簡述 hadoop 的調度器
9、列出你開發 mapreduce 的語言
10、我們開發 job 時是否可以去掉 reduce 階段
11、 datanode 在什么情況下不會備份
12、 combiner 出現在哪個過程
13、 hdfs 的體系結構
14、 3 個 datanode 中有一個 datanode 出現錯誤會怎么樣
15、描述一下 hadoop 中，有哪些地方用了緩存機制，作用分別是
什么？
16、如何確定 hadoop 集群的健康狀況
17、 shuffe 階段，你怎么理解
18、 mapreduce 的 map 數量和 reduce 數量怎么確定，怎么配置
19、簡單說一下 mapreduce 的編程模型
20、 hadoop 的 TextInputFormatter 作用是什么，如何自定義實現
21、 hadoop 和 spark 都是並行計算，他們有什么相同和區別
22、為什么要用 flume 導入 hdfs， hdfs 的架構是怎樣的
23、簡單說一下 hadoop 和 spark 的 shuffle 過程
24、 hadoop 高並發
25、 map-reduce 程序運行的時候會有什么比較常見的問題