Twitter Storm 实时数据处理框架分析总结
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初 ...
原文：一种基于Storm的可扩展即时数据处理架构思考
问题引入 使用storm可以方便的构建一种集群式的数据框架，并通过定义topo来实现业务逻辑。 但使用topo存在一个缺点， topo的处理能力来自于其启动时设置的worker数目，在很多情况下，我们需要能够根据业务压力来调整集群的处理能力，这时候单一的topo就无法解决这个问题了。 为了能够更加灵活的定义处理能力，可以考虑将原有的topo根据业务域进行拆分，做到互不干扰，灵活控制，而且为了能够更 ...
2015-07-24 11:27 4 1373 推荐指数：
相关推荐
数据处理_HIVE增量ETL的一种方式
适用场景： 贴源层主表历史数据过大，ETL不涉及历史数据对比或聚合 处理流程： 1.确定一个业务主键字段或物理主键字段 2.确定一个可以判断增量数据范围的字段，这取决于具体的业务场景，一般选用记录的创建时间或最后修改时间 3.确定一个分区字段，要求一段增量数据尽可能落在较少的分区 ...
基于 MaxCompute 的实时数据处理实践
简介： MaxCompute 通过流式数据高性能写入和秒级别查询能力(查询加速)，提供EB级云原生数仓近实时分析能力；高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景，实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能 ...
大前端架构思考与选择
转载 https://www.jianshu.com/p/bb8ac7db7e2d 问题 “一云多端”成为趋势，终端类型越来越多。比如，现在PC Web网站的产品已经有了，现在想扩展APP，小 程序 ...
大数据平台架构思考
笔者早期从事数据开发时，使用spark开发一段时间，感觉大数据开发差不多学到头了，该会的似乎都会了。在后来的实践过程中，发现很多事情需要站在更高的视角来看问题，不然很容易陷入“不识庐山真面目”的境界。最近在思考数据资产管理平台的建设，进行血缘分析开发，有如下感悟： 大数据平台从数据层面来说，包括 ...
Storm，Spark和Flink三种流式大数据处理框架对比
storm、spark streaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中，先要设计一个用于 ...
微服务架构思考
近些年来非常火爆的微服务架构，曾经让我以前团队（某团团购后台组）从泥沼中脱身出来，轻松的应对线上大量的业务压力，而如今却让我现在的团队深入泥沼中。 甜蜜的经历 12年刚来某团团购后台组的时候，只有一个项目groupapi。只有4个RD因对C端版本迭代的开发，从3.5版本每日访问量1KW ...
架构设计：一种远程调用服务的设计构思（zookeeper的一种应用实践）
在深入学习zookeeper我想先给大家介绍一个和zookeeper相关的应用实例，我把这个实例命名为远程调用服务。通过对这种应用实例的描述，我们会对zookeeper应用场景会有深入的了解。 远程调用是系统与系统之间的通信机制，它的另一种理解就是进程间的通信。做分布式系统的开发，远程 ...