【原創】大數據基礎之Gobblin（2）持久化kafka到hdfs
gobblin 0.10 想要持久化kafka到hdfs有很多種方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批處理式的，gobblin通過定時任務觸發來完成數據持久化，在任務和任務之間是沒有任何讀寫的，這點是和flume ...
原文：【原創】大數據基礎之Hadoop（3）hdfs diskbalancer
hdfs單個節點內多個磁盤不均衡時 比如新加磁盤 ，需要手工進行diskbalancer操作，命令如下 其中thresholdPercentage的注釋有歧義，看起來是根據絕對值進行均衡的，查看代碼 org.apache.hadoop.hdfs.server.diskbalancer.datamodel.DiskBalancerVolumeSet 主要有兩個函數， computeVolumeDat ...
2021-09-04 11:31 0 120 推薦指數：
相關推薦
【原創】大數據基礎之Hadoop（3）yarn數據收集與監控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
【原創】大數據基礎之Hadoop（1）HA實現原理
有些工作只能在一台server上進行，比如master，這時HA（High Availability）首先要求部署多個server，其次要求多個server自動選舉出一個active狀態server， ...
大數據之--------hadoop存儲(HDFS)
Hadoop 的存儲系統是 HDFS(Hadoop Distributed File System)分布式文件系統，對外部客戶端而言，HDFS 就像一個傳統的分級文件系統，可以進行創建、刪除、移動或重命名文件或文件夾等操作，與 Linux 文件系統類似。 Client客戶端 ...
【原創】大數據基礎之HDFS（1）HDFS新創建文件如何分配Datanode
HDFS中的File由Block組成，一個File包含一個或多個Block，當創建File時會創建一個Block，然后根據配置的副本數量（默認是3）申請3個Datanode來存放這個Block； 通過hdfs fsck命令可以查看一個文件具體的Block、Datanode、Rack信息 ...
【原創】大數據基礎之HDFS（2）HDFS副本數量檢查及復制邏輯
HDFS會周期性的檢查是否有文件缺少副本，並觸發副本復制邏輯使之達到配置的副本數， <property> <name>dfs.replication</name> <value>3</value> ...
【原創】大數據基礎之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite that helps evaluate different big data frameworks ...
【原創】大數據基礎之調度框架
常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azk ...