面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
本套SQL題的答案是由許多小伙伴共同貢獻的, 的力量是遠遠大於 的,有不少題目都采用了非常巧妙的解法,也有不少題目有多種解法。本套大數據SQL題不僅題目豐富多樣,答案更是精彩絕倫 注:以下參考答案都經過簡單數據場景進行測試通過,但並未測試其他復雜情況。本文檔的SQL主要使用Hive SQL。 一 行列轉換 描述:表中記錄了各年份各部門的平均績效考核成績。 表名:t 表結構: 表內容: 問題一:多行 ...
2021-12-23 16:09 0 794 推薦指數:
面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
判斷題: 1.如果 NameNode 意外終止,SecondaryNameNode 會接替它使集群繼續工作。(錯誤) 分析: SecondaryNameNode是幫助恢復,而不是替代 S ...
1. hadoop 使用什么版本,CDH版本號,是5.3.6 。hadoop的版本是2.72,記住cdh的版本號和hadoop版本號不一樣。2. flume是單節點采集數據還是多節點采集數據?flume是自定義框架還是用官方提供的框架?官方框架開發中有什么問題 ...
一、.hdfs寫文件的步驟 答案: (1)client向NameNode申請上傳…/xxx.txt文件 (2)NN向client響應可以上傳文件 (3)Client向NameNode申請Dat ...
面試中的問題(重點)** 1. RDD的特性(RDD的解釋)1.RDD可以看做是一些列partition所組成的2.RDD之間的依賴關系3.算子是作用在partition之上的4.分區器是作用在kv形式的RDD上5.partition提供的最佳計算位置,利於數據處理的本地化即計算向數據移動 ...
更新內容和時間表 大數據基礎篇 Part0:Java基礎篇 Part1:Java高級篇 Part2:Java之JVM篇 Part3:NIO和Netty篇 Part4:分布式理論篇 框架篇 Part5:Hadoop之MapReduce Part6 ...
1. 下列哪項通常是集群的最主要瓶頸(C) A. CPU B. 網絡 C. 磁盤IO D. 內存 2. 下列哪項可以作為集群的管理工具?(C) A.Puppet B.Pdsh C.Cl ...
1、fsimage和edit的區別? 2、列舉幾個配置文件優化? --發揮 3、datanode 首次加入 cluster 的時候 ...