面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
目前面試了多家大數據開發工程師,成長了很多,也知道了很多知識,下面和大家分享一下我遇到的面試題和答案。 .kafka集群的規模,消費速度是多少。 答:一般中小型公司是 個節點,每秒 M左右。 .hdfs上傳文件的流程。 答:這里描述的 是一個 M的文件上傳過程 由客戶端 向 NameNode節點節點 發出請求 NameNode 向Client返回可以可以存數據的 DataNode 這里遵循機架感應 ...
2018-05-19 18:43 0 32668 推薦指數:
面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
更新內容和時間表 大數據基礎篇 Part0:Java基礎篇 Part1:Java高級篇 Part2:Java之JVM篇 Part3:NIO和Netty篇 Part4:分布式理論篇 框架篇 Part5:Hadoop之MapReduce Part6 ...
1. 下列哪項通常是集群的最主要瓶頸(C) A. CPU B. 網絡 C. 磁盤IO D. 內存 2. 下列哪項可以作為集群的管理工具?(C) A.Puppet B.Pdsh C.Cl ...
判斷題: 1.如果 NameNode 意外終止,SecondaryNameNode 會接替它使集群繼續工作。(錯誤) 分析: SecondaryNameNode是幫助恢復,而不是替代 S ...
1. hadoop 使用什么版本,CDH版本號,是5.3.6 。hadoop的版本是2.72,記住cdh的版本號和hadoop版本號不一樣。2. flume是單節點采集數據還是多節點采集數據?flume是自定義框架還是用官方提供的框架?官方框架開發中有什么問題 ...
一、.hdfs寫文件的步驟 答案: (1)client向NameNode申請上傳…/xxx.txt文件 (2)NN向client響應可以上傳文件 (3)Client向NameNode申請Dat ...
面試中的問題(重點)** 1. RDD的特性(RDD的解釋)1.RDD可以看做是一些列partition所組成的2.RDD之間的依賴關系3.算子是作用在partition之上的4.分區器是作用在kv形式的RDD上5.partition提供的最佳計算位置,利於數據處理的本地化即計算向數據移動 ...
1、fsimage和edit的區別? 2、列舉幾個配置文件優化? --發揮 3、datanode 首次加入 cluster 的時候 ...