大数据篇：Kafka
大数据篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一种高吞吐量的分布式发布、订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据 ...
原文：大数据架构之:Kafka
Kafka 是一个高吞吐 分布式 基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化 高吞吐 分布式 多客户端支持 实时等特性，适用于离线和在线的消息消费 Kakfa特点： 解耦：消息系统在处理过程中插入一个隐含 基于数据的接口层。 冗余：消息队列持久化，防止数据丢失。 扩展性：消息队列解耦处理过程，容易扩展处理过程。 可恢复性： ...
2015-11-09 19:21 1 7175 推荐指数：
相关推荐
kafka 处理大数据
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？ 针对这个问题，有以下几个建议 ...
五个顶级的大数据架构
本文将介绍用于大数据堆栈的五个最有用的架构，以及每个架构的优点，以便更好地理解和权衡。此外，还对成本、何时使用、热门产品，以及每种架构的提示和技巧进行了阐述。 自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今 ...
大数据架构之:Flume
Source Flume基础架构：Flume 可以单节点直接采集数据。 Flume 的内 ...
大数据架构之:Spark
Spark是UC Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高Spark适用于近线或准实时、数据挖掘与机器学习应用场景 Spark和Hadoop Spark是一个针对超大数据 ...
大数据架构组件
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据 ...
大数据架构之:Storm
Storm是一个免费开源、分布式、高容错的实时计算系统，Twitter开发贡献给社区的。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。 ...