【原創】大數據基礎之Logstash（3）應用之http（in和out）
一個logstash很容易通過http打斷成兩個logstash實現跨服務器或者跨平台間數據同步，比如原來的流程是 logstash: nginx log -> kafka 打斷成兩個是 logstash1: nginx log -> http out ...
原文：【原創】大數據基礎之Logstash（3）應用之file解析（grok/ruby/kv）
從nginx日志中進行url解析 v test param v amp param v amp time A A gt param : v , param : v , param : v , time : : : nginx日志示例： . . . Mar : : : POST param test param amp param amp time A A HTTP . Mozilla . Wind ...
2019-03-19 17:49 0 828 推薦指數：
相關推薦
【原創】大數據基礎之Logstash（5）監控
有兩種方式來監控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
【原創】大數據基礎之Flume（2）應用之kafka-kudu
應用一：kafka數據同步到kudu 1 准備kafka topic 2 准備kudu表 impala-shell 3 准備flume kudu支持 3.1 下載jar 3.2 開發 代碼庫：https://github.com ...
【原創】大數據基礎之Logstash（4）高可用
logstash高可用體現為不丟數據（前提為服務器短時間內不可用后可恢復比如重啟服務器或重啟進程），具體有兩個方面： 進程重啟（服務器重啟） 事件消息處理失敗 在logstash中對應的解決方案為： Persistent Queues Dead Letter ...
【原創】大數據基礎之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安裝 ./logstash-plugin install logstash-input-mongodb 插件實現非常簡單，就一個ruby文件， https ...
【原創】大數據基礎之Oozie（1）簡介、源代碼解析
Oozie4.3 一 簡介 1 官網 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop ...
【原創】大數據基礎之Azkaban（1）簡介、源代碼解析
Azkaban3.45 一 簡介 1 官網 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve th ...
Logstash的grok以及Ruby
logstash的grok插件的用途是提取字段，將非格式的內容進行格式化， 匹配字段如下： client: 55.3.244.1 method: GET request: /index.html bytes: 15824 duration: 0.043 ...