【原創】大數據基礎之ElasticSearch（4）es數據導入過程
1 准備analyzer 內置analyzer 參考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...
原文：【原創】大數據基礎之Kafka（2）reassign過程
reassign過程 選擇每個partition的各個replica分布到哪個broker 每個partition的第一個replica隨機選擇一個broker 除第一個replica之外其他的replicas會加一個隨機shift之后順序選擇n 個broker 選擇這個broker中多個log dir中的哪個來存放 如果這個broker之前存在該partition的replica，則直接使用之前 ...
2021-07-17 22:55 0 160 推薦指數：
相關推薦
【原創】大數據基礎之Gobblin（2）持久化kafka到hdfs
gobblin 0.10 想要持久化kafka到hdfs有很多種方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批處理式的，gobblin通過定時任務觸發來完成數據持久化，在任務和任務之間是沒有任何讀寫的，這點是和flume ...
【原創】大數據基礎之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite tha ...
【原創】大數據基礎之調度框架
常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azk ...
【原創】大數據基礎之Hive（2）Hive SQL執行過程之SQL解析過程
Hive SQL解析過程 SQL->AST(Abstract Syntax Tree)->Task（MapRedTask，FetchTask）->QueryPlan（Task集合）->Job（Yarn） SQL解析會在兩個地方進行： 一個是SQL執行 ...
【原創】大數據基礎之Flume（2）應用之kafka-kudu
應用一：kafka數據同步到kudu 1 准備kafka topic 2 准備kudu表 impala-shell 3 准備flume kudu支持 3.1 下載jar 3.2 開發 代碼庫：https://github.com ...
【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime me ...
【原創】大數據基礎之Spark（7）spark讀取文件split過程（即RDD分區數量）
spark 2.1.1 spark初始化rdd的時候，需要讀取文件，通常是hdfs文件，在讀文件的時候可以指定最小partition數量，這里只是建議的數量，實際可能比這個要大（比如文件特別多或者特 ...