针对原生Flume在生产环境中暴露的问题，在开源Flume1.6.0版本上做了深度定制和部门内部统一推广： 1. 与开源版本区别 模块 ...

1. 前言 分布式文件存储系统其作用主要有两个：其一存储海量的文档、图片、视频等blob类数据，其二作为分布式表格系统的持久化层，如 HDFS于HBase。流行的分布式文件存储系统有 ...

前段时间，线上环境的kafka多集群在采用mirror组件进行跨机房数据同步时，会偶尔出现hang住不稳定的情况:1. 现象 a. 线上出现返回包序号不一致的现象:"Correlatio ...

1. LSM树的由来 1.1. 索引结构特征 　　a. 哈希存储引擎: 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。 　　b ...

1. 背景 在数据爆炸我们每天被数据困扰的今天，数据量发生指数级的增长，每一年产生的大数据是过去历史的总和。那么在茫茫数据大海中，对于数据生产者，怎么将自己的信息精准投放给所需的用户呢？而对于数据消 ...