【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health ...
原文：【原创】大数据基础之Logstash（4）高可用
logstash高可用体现为不丢数据 前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程 ，具体有两个方面： 进程重启 服务器重启 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter Queues 默认都没有开启 另外可以通过docker或marathon或systemd来实现进程的自动重启 As data flows th ...
2019-04-08 17:30 0 1005 推荐指数：
相关推荐
【原创】大数据基础之Logstash（3）应用之http（in和out）
一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out ...
【原创】大数据基础之Logstash（6）mongo input
logstash input插件之mongodb是第三方的，配置如下： 安装 ./logstash-plugin install logstash-input-mongodb 插件实现非常简单，就一个ruby文件， https ...
【原创】大数据基础之Logstash（3）应用之file解析（grok/ruby/kv）
从nginx日志中进行url解析 /v1/test?param2=v2¶m3=v3&time=2019-03-18%2017%3A34%3A14->{'param ...
大数据技术之HA 高可用
HDFS HA高可用 1.1 HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中 ...
【大数据】Hadoop的高可用HA
第1章 HA高可用 1.1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障（single point of failure，SPOF）。单点故障是一个组件发生故障，就会导致整个系统无法运行。HA严格来说 ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite tha ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 ...