【原创】大数据基础之Logstash（3）应用之http（in和out）
一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out ...
原文：【原创】大数据基础之Logstash（3）应用之file解析（grok/ruby/kv）
从nginx日志中进行url解析 v test param v amp param v amp time A A gt param : v , param : v , param : v , time : : : nginx日志示例： . . . Mar : : : POST param test param amp param amp time A A HTTP . Mozilla . Wind ...
2019-03-19 17:49 0 828 推荐指数：
相关推荐
【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
【原创】大数据基础之Flume（2）应用之kafka-kudu
应用一：kafka数据同步到kudu 1 准备kafka topic 2 准备kudu表 impala-shell 3 准备flume kudu支持 3.1 下载jar 3.2 开发 代码库：https://github.com ...
【原创】大数据基础之Logstash（4）高可用
logstash高可用体现为不丢数据（前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程），具体有两个方面： 进程重启（服务器重启） 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter ...
【原创】大数据基础之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安装 ./logstash-plugin install logstash-input-mongodb 插件实现非常简单，就一个ruby文件， https ...
【原创】大数据基础之Oozie（1）简介、源代码解析
Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop ...
【原创】大数据基础之Azkaban（1）简介、源代码解析
Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve th ...
Logstash的grok以及Ruby
logstash的grok插件的用途是提取字段，将非格式的内容进行格式化， 匹配字段如下： client: 55.3.244.1 method: GET request: /index.html bytes: 15824 duration: 0.043 ...