【原創】大數據基礎之Hadoop（3）yarn數據收集與監控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
原文：【原創】大數據基礎之Hadoop（1）HA實現原理
有些工作只能在一台server上進行，比如master，這時HA High Availability 首先要求部署多個server，其次要求多個server自動選舉出一個active狀態server，其他server處於standby狀態，只有active狀態的server允許進行特定的操作 當active狀態的server由於各種原因無法服務之后 比如掛了或者斷網 ，其他standby狀態的se ...
2019-01-11 15:25 0 708 推薦指數：
相關推薦
【大數據】Hadoop的高可用HA
第1章 HA高可用 1.1 HA概述 1）所謂HA（high available），即高可用（7*24小時不中斷服務）。 2）實現高可用最關鍵的策略是消除單點故障（single point of failure，SPOF）。單點故障是一個組件發生故障，就會導致整個系統無法運行。HA嚴格來說 ...
【原創】大數據基礎之Hadoop（3）hdfs diskbalancer
org.apache.hadoop.hdfs.server.diskbalancer.datamodel.DiskBalancerVolumeSet 主要有兩個函數， computeV ...
【原創】大數據基礎之Spark（3）Spark Thrift實現原理及代碼實現
spark 2.1.1 一 啟動命令 啟動spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后會執行 org.ap ...
【原創】大數據基礎之SPARK（9）SPARK中COLLECT和TAKE實現原理
； 而take的實現就要復雜一些，它會首先計算1個partition，然后根據結果的數量推斷出還需要計 ...
【原創】大數據基礎之Spark（5）Shuffle實現原理及代碼解析
一 簡介 Shuffle，簡而言之，就是對數據進行重新分區，其中會涉及大量的網絡io和磁盤io，為什么需要shuffle，以詞頻統計reduceByKey過程為例， serverA：partition1: (hello, 1), (word, 1)serverB：partition2 ...
【原創】大數據基礎之Spark（8）Spark中Join實現原理
spark中join有兩種，一種是RDD的join，一種是sql中的join，分別來看： 1 RDD join org.apache.spark.rdd.PairRDDFunctions ...
【原創】大數據基礎之Impala（2）實現細節
一 架構 Impala is a massively-parallel query execution engine, which runs on hundreds of machines in existing Hadoop clusters. It is decoupled from ...