面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
一面 簡單介紹一下自己以及自己做過的項目 Java HashMap 是不是線程安全的 為什么 請用 Java 寫個單例模式 知道幾種 GC 算法 如何實現一個高效的單項列表逆向輸出 數據湖和數據倉庫有什么區別 詳細介紹下 Flink 的 Checkpoint 執行機制 分布式快照 算法題:尋找兩個正序數組的中位數 二面 如何在兩個進程間共享數據 線程呢 如何在 main 函數里面等待一個線程執行完 ...
2021-01-23 18:43 1 311 推薦指數:
面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
判斷題: 1.如果 NameNode 意外終止,SecondaryNameNode 會接替它使集群繼續工作。(錯誤) 分析: SecondaryNameNode是幫助恢復,而不是替代 S ...
1. hadoop 使用什么版本,CDH版本號,是5.3.6 。hadoop的版本是2.72,記住cdh的版本號和hadoop版本號不一樣。2. flume是單節點采集數據還是多節點采集數據?flume是自定義框架還是用官方提供的框架?官方框架開發中有什么問題 ...
一、.hdfs寫文件的步驟 答案: (1)client向NameNode申請上傳…/xxx.txt文件 (2)NN向client響應可以上傳文件 (3)Client向NameNode申請Dat ...
面試中的問題(重點)** 1. RDD的特性(RDD的解釋)1.RDD可以看做是一些列partition所組成的2.RDD之間的依賴關系3.算子是作用在partition之上的4.分區器是作用在kv形式的RDD上5.partition提供的最佳計算位置,利於數據處理的本地化即計算向數據移動 ...
1. 下列哪項通常是集群的最主要瓶頸(C) A. CPU B. 網絡 C. 磁盤IO D. 內存 2. 下列哪項可以作為集群的管理工具?(C) A.Puppet B.Pdsh C.Cl ...
1.給定a、b兩個文件,各存放50億個url,每個url各占64字節,內存限制是4G,讓你找出a、b文件共同的url? 假如每個url大小為10bytes,那么可以估計每個文件的大小為50 ...
2.23. 我們開發job時,是否可以去掉reduce階段。 可以。設置reduce數為0 即可。 2.24. datanode在什么情況下不會備份 datanode在強制關閉或者非正常斷電不會備份。 ...