【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
原文：【原創】大數據基礎之Logstash（4）高可用
logstash高可用體現為不丟數據 前提為服務器短時間內不可用后可恢復比如重啟服務器或重啟進程 ，具體有兩個方面： 進程重啟 服務器重啟 事件消息處理失敗 在logstash中對應的解決方案為： Persistent Queues Dead Letter Queues 默認都沒有開啟 另外可以通過docker或marathon或systemd來實現進程的自動重啟 As data flows th ...
2019-04-08 17:30 0 1005 推薦指數：
相關推薦
【原創】大數據基礎之Logstash（3）應用之http（in和out）
一個logstash很容易通過http打斷成兩個logstash實現跨服務器或者跨平台間數據同步，比如原來的流程是 logstash: nginx log -> kafka 打斷成兩個是 logstash1: nginx log -> http out ...
【原創】大數據基礎之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安裝 ./logstash-plugin install logstash-input-mongodb 插件實現非常簡單，就一個ruby文件， https ...
【原創】大數據基礎之Logstash（3）應用之file解析（grok/ruby/kv）
從nginx日志中進行url解析 /v1/test?param2=v2¶m3=v3&time=2019-03-18%2017%3A34%3A14->{'param ...
大數據技術之HA 高可用
HDFS HA高可用 1.1 HA概述 1）所謂HA（High Available），即高可用（7*24小時不中斷服務）。 2）實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個組件的HA機制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中 ...
【大數據】Hadoop的高可用HA
第1章 HA高可用 1.1 HA概述 1）所謂HA（high available），即高可用（7*24小時不中斷服務）。 2）實現高可用最關鍵的策略是消除單點故障（single point of failure，SPOF）。單點故障是一個組件發生故障，就會導致整個系統無法運行。HA嚴格來說 ...
【原創】大數據基礎之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite tha ...
【原創】大數據基礎之調度框架
常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azkaban 單點、簡單粗暴，有兩套獨立的調度實現，必須二次開發才可用 ...