Apache Flume Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合，最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息，不仅限于日志。包括端口数据、JMS、命令行等输出数据。 架构 Flume ...

GoldenGate可以实时将RDBMS的数据投递到HDFS中，在前面的文章中，已经配置过投递到kafka, mongodb等数据平台，本文通过OGG for bigdata的介质中自带的示例演示实时将数据写入到HDFS文件系统。 安装hadoop 安装hadoop3.0.0，设置相应 ...

mongodb安装 安装 linux下可使用apt-get install mongodb-server 或 yum install mongodb-server 进行安装。 也可以在windows上安装mongodb，只要网络连通，数据就可以从关系型数据库投递到mongodb。详细安装文档可网络 ...

导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术 ...

一、简介 一般业务诉求：在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并作出运营决策，引导业务往好的方向发展。 按照数据的延时情况，数据时效性一般分为三种（离线、准实时、实时）： 离线：在今天（T）处理 N 天前（T - N ≥ 1）的数据，延迟时间粒度 ...

大数据篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一种高吞吐量的分布式发布、订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据 ...

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？ 针对这个问题，有以下几个建议 ...

canal 官方文档 一、canal安装（1.1.4） 下载安装包，解压，创建软连接。 修改配置文件。 2.1 canal.properties 2.2 instance.pro ...