【原创】大数据基础之Logstash（3）应用之file解析（grok/ruby/kv）
从nginx日志中进行url解析 /v1/test?param2=v2¶m3=v3&time=2019-03-18%2017%3A34%3A14->{'param ...
原文：【原创】大数据基础之Logstash（3）应用之http（in和out）
一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log gt kafka 打断成两个是 logstash : nginx log gt http out logstash : http in gt kafka 具体如下 http out filter ruby code gt event.cance ...
2019-03-19 23:35 0 704 推荐指数：
相关推荐
【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
【原创】大数据基础之Flume（2）应用之kafka-kudu
应用一：kafka数据同步到kudu 1 准备kafka topic 2 准备kudu表 impala-shell 3 准备flume kudu支持 3.1 下载jar 3.2 开发 代码库：https://github.com ...
【原创】大数据基础之Logstash（4）高可用
logstash高可用体现为不丢数据（前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程），具体有两个方面： 进程重启（服务器重启） 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter ...
【原创】大数据基础之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安装 ./logstash-plugin install logstash-input-mongodb 插件实现非常简单，就一个ruby文件， https ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite tha ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azk ...
【原创】大数据基础之ElasticSearch（4）es数据导入过程
1 准备analyzer 内置analyzer 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...