概括 Azkaban是一個非常輕量的開源調度框架，適合二次開發，但是無法直接用於生產環境，存在致命缺陷（比如AzkabanWebServer是單點，1年多時間沒有修復），在一些情景下的行為簡單粗暴（ ...

ETL 概念 ETL 這個術語來源於數據倉庫，ETL 指的是將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫的過程。ETL 的目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據。 ETL是 BI 項目重要的一個環節。 通常情況下，在 BI 項目中 ETL ...

常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azk ...

HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite tha ...

有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime me ...

1 准備analyzer 內置analyzer 參考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...

yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...

reassign過程 選擇每個partition的各個replica分布到哪個broker 每個partition的第一個replica隨機選擇一個broker 除第一 ...