Flume-NG内置计数器(监控)源码级分析
Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具，以及从浏览器获取json串，或者自定义向其他监控系统汇报信息。那监控的信息是什么呢？就是各个组件的统计信息，比如成功接收的Event数量、成功发送 ...
原文：Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析
SpillableMemoryChannel是 . 版本新增的一个channel。这个channel优先将evnet放在内存中，一旦内存达到设定的容量就使用file channel写入磁盘。然后读的时候会按照顺序读取：会通过一个DrainOrderQueue来保证不管是内存中的还是溢出 本文的 溢出 指的是内存channel已满，需要使用file channel存储数据 文件中的顺序。这个Cha ...
2014-07-04 23:04 1 2339 推荐指数：
相关推荐
Flume-NG启动过程源码分析（三）(原创)
上一篇文章分析了Flume如何加载配置文件的，动态加载也只是重复运行getConfiguration()。 本篇分析加载配置文件后各个组件是如何运行的？ 加载完配置文件订阅者Application类会收到订阅信息执行 ...
Flume-NG启动过程源码分析（一）(原创)
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。 根据命令中含有 ...
Flume-NG源码阅读之FileChannel
)、org.apache.flume.channel.file.proto共计40个源码文件。 一、config ...
Flume-NG源码阅读之SpoolDirectorySource(原创)
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据 ...
Flume-NG源码阅读之SinkGroups和SinkRunner
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map<String, SinkRunner> sinkRunnerMap之中。 SinkRunner可能对 ...
Flume-ng源码解析之Source组件
如果你还没看过Flume-ng源码解析系列中的启动流程、Channel组件和Sink组件，可以点击下面链接： Flume-ng源码解析之启动流程 Flume-ng源码解析之Channel组件 Flume-ng源码解析之Sink组件 在前面三篇文章中我们初步了解了Flume的启动流程 ...
Flume-NG源码阅读之HBaseSink
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 每个sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...