此面試題來自牛客網友分享的字節跳動應屆一面,面試時長一小時。 網友情況:985 本碩。 以下為面試過程中提問,崗位為大數據開發: 自我介紹+項目介紹 為什么用 kafka ...
hbase的寫入速度下降造成的原因是什么,怎么解決 zookeeper的結構,在Hadoop集群中的作用 zookeeper在hadoop集群中可以實現高可用,使active namenode和standby nanemode通過jrounalnode通信,保持同步信息,避免單點故障 此篇關於zookeeper在hadoop和hbase中的應用:https: blog.csdn.net zhan ...
2019-02-19 15:14 0 534 推薦指數:
此面試題來自牛客網友分享的字節跳動應屆一面,面試時長一小時。 網友情況:985 本碩。 以下為面試過程中提問,崗位為大數據開發: 自我介紹+項目介紹 為什么用 kafka ...
面試總結: 1、HDFS小文件 小文件的產生原因 1) 數據本身的特點:比如我們在 HDFS 上存儲大量的圖片、短視頻、短音頻等文件,這些文件本身較小,達不到一個block的大小,而且數量眾多。 2) MapReduce產生:例如使用查詢一張含有海量數據的表,然后存儲在另外一張表中,而這個查詢 ...
Linux 1、使用 linux 命令從字符串 apple@163.com 中提取 apple 2、將 apple@163.com 替換為 apple@qq.com 3、配置crontab 定時調度,每小時10分執行 /data/checklog.sh 腳本 數據庫 1、Oracle 數據 ...
某公司面試題: 1、闡述數據庫的三大范式? 2、Linux 自帶的常用命令舉例至少20個? 3、Spark 有哪些聚合類的算子,我們應該盡量避免什么類型的算子? 4、Hive 和 HBase 的區別? 5、你了解設計模式嗎?寫出你知道的設計模式。 6、常見的GC算法 ...
大數據基礎部分面試題: 一.你了解Hadoop嗎?講一下Hadoop中HDFS的讀寫原理。 讀: 客戶端調用FileSystem的open方法,來打開希望讀取的文件。 FileSystem通過Rpc與namenode通信,namenode將獲取到的信息整理,並將文件的所有內容發送給 ...
一、如何檢查namenode是否正常運行?重啟namenode的命令是什么? 通過節點信息和瀏覽器查看,通過腳本監控 hadoop-daemon.sh start namenode hdfs-d ...
面試題總結: 分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上,而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M,幾百GB,甚至幾TB大小 ...
判斷題: 1.如果 NameNode 意外終止,SecondaryNameNode 會接替它使集群繼續工作。(錯誤) 分析: SecondaryNameNode是幫助恢復,而不是替代 S ...