原文:自定义Flume Sink:ElasticSearch Sink

Flume Sink的目的是从Flume Channel中获取数据然后输出到存储或者其他Flume Source中。Flume Agent启动的时候,它会为每一个Sink都启动一个SinkRunner的对象,SinkRunner.start 方法会启动一个新的线程去管理每一个Sink的生命周期。每一个Sink需要实现start Stop 和process 方法。你可以在start方法中去初始化Si ...

2017-09-13 21:55 1 2125 推荐指数:

查看详情

flume自定义sink之mysql

package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import ...

Thu Mar 30 19:57:00 CST 2017 0 2352
Flume-自定义 Sink

Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。 在从 Channel 批量删除数据之前,每个 Sink 用 Channel 启动一个事务。 批量事件一旦成功 ...

Tue Oct 01 08:35:00 CST 2019 0 1046
flume 自定义 hbase sink

flume 1.5 的配置文件示例 #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure ...

Wed Jan 18 18:38:00 CST 2017 0 2318
flume自定义sink-Kafka

1、创建一个agent,sink类型需指定为自定义sink vi /usr/local/flume/conf/agent3.conf agent3.sources=as1 agent3.channels=c1 agent3.sinks ...

Mon May 25 00:58:00 CST 2015 0 5550
Flink自定义Sink

Flink自定义Sink Flink 自定义Sink,把socket数据流数据转换成对象写入到mysql存储。 Step2:继承RichSinkFunction,自定义Sink Step3:在mysql创建存储表 Step4: 将socket流转成Student对象,并存 ...

Tue Sep 01 01:12:00 CST 2020 0 1392
flume-elasticsearch-sink indexName

indexName自动追加日期,可以自定义header头,改变时间,源码如下: http://grepcode.com/file/repository.cloudera.com/content/repositories/releases ...

Wed Aug 27 19:35:00 CST 2014 0 2732
Flume NG中的ElasticSearch Sink

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索 ...

Sat Jul 16 19:19:00 CST 2016 0 2953
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM