【原創】大數據基礎之Hadoop（3）hdfs diskbalancer
hdfs單個節點內多個磁盤不均衡時（比如新加磁盤），需要手工進行diskbalancer操作，命令如下 其中thresholdPercentage的注釋有歧義，看起來是根據絕對值進行均衡的，查看代碼 ...
原文：【原創】大數據基礎之Gobblin（2）持久化kafka到hdfs
gobblin . 想要持久化kafka到hdfs有很多種方式，比如flume logstash gobblin，其中flume和logstash是流式的，gobblin是批處理式的，gobblin通過定時任務觸發來完成數據持久化，在任務和任務之間是沒有任何讀寫的，這點是和flume logstash的最大不同 gobblin有幾種部署方式： standalone cron mr oozie az ...
2019-06-01 14:29 0 647 推薦指數：
相關推薦
【原創】大數據基礎之Kafka（2）reassign過程
reassign過程 選擇每個partition的各個replica分布到哪個broker 每個partition的第一個replica隨機選擇一個broker 除第一 ...
【原創】大數據基礎之HDFS（1）HDFS新創建文件如何分配Datanode
HDFS中的File由Block組成，一個File包含一個或多個Block，當創建File時會創建一個Block，然后根據配置的副本數量（默認是3）申請3個Datanode來存放這個Block； 通過hdfs fsck命令可以查看一個文件具體的Block、Datanode、Rack信息 ...
【原創】大數據基礎之HDFS（2）HDFS副本數量檢查及復制邏輯
HDFS會周期性的檢查是否有文件缺少副本，並觸發副本復制邏輯使之達到配置的副本數， <property> <name>dfs.replication</name> <value>3</value> ...
【原創】大數據基礎之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite tha ...
【原創】大數據基礎之調度框架
常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azk ...
【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime me ...
【原創】大數據基礎之Flume（2）應用之kafka-kudu
應用一：kafka數據同步到kudu 1 准備kafka topic 2 准備kudu表 impala-shell 3 准備flume kudu支持 3.1 下載jar 3.2 開發 代碼庫：https://github.com ...