【原創】大數據基礎之Logstash（3）應用之file解析（grok/ruby/kv）
從nginx日志中進行url解析 /v1/test?param2=v2¶m3=v3&time=2019-03-18%2017%3A34%3A14->{'param ...
原文：【原創】大數據基礎之Logstash（3）應用之http（in和out）
一個logstash很容易通過http打斷成兩個logstash實現跨服務器或者跨平台間數據同步，比如原來的流程是 logstash: nginx log gt kafka 打斷成兩個是 logstash : nginx log gt http out logstash : http in gt kafka 具體如下 http out filter ruby code gt event.cance ...
2019-03-19 23:35 0 704 推薦指數：
相關推薦
【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
【原創】大數據基礎之Flume（2）應用之kafka-kudu
應用一：kafka數據同步到kudu 1 准備kafka topic 2 准備kudu表 impala-shell 3 准備flume kudu支持 3.1 下載jar 3.2 開發 代碼庫：https://github.com ...
【原創】大數據基礎之Logstash（4）高可用
logstash高可用體現為不丟數據（前提為服務器短時間內不可用后可恢復比如重啟服務器或重啟進程），具體有兩個方面： 進程重啟（服務器重啟） 事件消息處理失敗 在logstash中對應的解決方案為： Persistent Queues Dead Letter ...
【原創】大數據基礎之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安裝 ./logstash-plugin install logstash-input-mongodb 插件實現非常簡單，就一個ruby文件， https ...
【原創】大數據基礎之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 簡介 HiBench is a big data benchmark suite tha ...
【原創】大數據基礎之調度框架
常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azk ...
【原創】大數據基礎之ElasticSearch（4）es數據導入過程
1 准備analyzer 內置analyzer 參考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...