Hadoop 面試題總結(一)
1、集群的最主要瓶頸是：磁盤IO 面對大數據，讀取數據需要經過IO，這里可以把IO理解為水的管道。管道越大越強，我們對於T級的數據讀取就越快。所以IO的好壞，直接影響了集群對於數據的處理。 參考 ...
原文：Hadoop 面試總結
簡要描述如何安裝配置一個開源的hadoop，只描述即可，列出完整步驟。 a 創建一個用戶和用戶組，用來管理hadoop項目 b 修改確定ip地址：vim etc sysconfig network scripts ifcfg eth c 修改主機名：vim etc sysconfig network d 修改host主機名和ip地址映射：vim etc hosts e 查看防火牆狀態並關閉防火牆 ...
2018-03-07 16:34 0 1659 推薦指數：
相關推薦
Hadoop/Spark相關面試問題總結
Hadoop/Spark相關面試問題總結 面試回來之后把其中比較重要的問題記了下來寫了個總結： （答案在后面） 1、簡答說一下hadoop的map-reduce編程模型 2、hadoop的TextInputFormat作用是什么，如何自定義實現 3、hadoop ...
Hadoop面試題總結（二）——HDFS
1、 HDFS 中的 block 默認保存幾份？ 默認保存3份 2、HDFS 默認 BlockSize 是多大？ 默認64MB 3、負責HDFS數據存儲的是哪一部分？ DataNode負責數 ...
Hadoop面試題總結（三）——MapReduce
1、談談Hadoop序列化和反序列化及自定義bean對象實現序列化? 1）序列化和反序列化 （1）序列化就是把內存中的對象，轉換成字節序列（或其他數據傳輸協議）以便於存儲（持久化）和網絡傳輸。 （2）反序列化就是將收到字節序列（或其他數據傳輸協議）或者是硬盤的持久化數據，轉換成內存中的對象 ...
Hadoop面試題
1、把數據倉庫從傳統關系數據庫轉到hadoop有什么優勢？ 原關系存儲方式昂貴 空間有限 hadoop支持結構化（例如 RDBMS），非結構化（例如 images，PDF，docs ）和半結構化（例如 logs，XMLs）的數據可以以可擴展和容錯的方式存儲在較便宜的商品機器中 ...
hadoop面試題一
1、hadoop運行的原理?xxxxxx 2、mapreduce的原理?xxxxxx 3、HDFS存儲的機制?xxxxxx 4、舉一個簡單的例子說明mapreduce是怎么來運行的 ?xxxxxx 5、面試的人給你出一些問題,讓你用mapreduce來實現？比如:現在有10個文件夾,每個 ...
Hadoop面試整理
1、Hadoop1.x和2.x之間的區別：Hadoop 1.0主要由兩個分支組成：MapReduce和HDFS，在高可用、擴展性等方面存在問題 （1）HDFS存在的問題 1）NameNode單點故障，難以應用於在線場景。 2）NameNode壓力過大，且內存受限，影響擴展性 ...
Hadoop面試題
1、Hive內部表和外部表的區別？ 1、在導入數據到外部表，數據並沒有移動到自己的數據倉庫目錄下，也就是說外部表中的數據並不是由它自己來管理的！而表則不一樣； 2、在刪除表的時候，Hive將 ...