原文:Flume报 Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight

报这个错误 需要一个是flume堆内存不够.还有一个就是把channel的容器调大 在channel加配置 type 组件类型名称必须是memory capacity 存储在 Channel 当中的最大 events 数 transactionCapacity 同时刻从Source 获取,或发送到 Sink 的最大 events 数 keep alive 添加或删除一个 event 超时的秒数 如 ...

2018-03-30 11:50 0 1121 推荐指数:

查看详情

Flume 入门--几种不同的Sinks

主要介绍几种常见Flume的Sink--汇聚点 1.Logger Sink 记录INFO级别的日志,一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink 必须配置的属性: 属性说明: !channel ...

Wed Jan 11 05:33:00 CST 2017 1 7366
Flume 入门--几种不同的Sources

1.flume概念 flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境,要求java1.6以上,推荐java1.7. 将下载好的flume ...

Tue Jan 10 06:28:00 CST 2017 1 19486
flume1.8 Sinks类型介绍(三)

1. Flume Sinks 1.1 HDFS Sink 该sink把events写进Hadoop分布式文件系统(HDFS)。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性(如时间戳或发生事件的机器)把数据划分 ...

Tue Jan 02 07:59:00 CST 2018 0 4695
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM