来自知乎： 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久 ...

： Storm：实时缓存热点数据统计->缓存预热->缓存热点数据自动降级 Hive：H ...

一、Storm编程模型 Topology：Storm中运行的一个实时应用程序的名称。（拓扑） Spout：在一个topology中获取源数据流的组件。 　　通常情况下spout会从外部数据源中读取数据，然后转换为topology内部的源数据 ...

摘要: 在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。那Storm是怎么做到的呢？ 博主福利 给大家赠送一套hadoop视频课程 授课老师是百度 hadoop 核心架构师 ...

实时计算是什么？## 请看下面的图： 我们以热卖产品的统计为例，看下传统的计算手段： 将用户行为、log等信息清洗后保存在数据库中. 将订单信息保存在数据库中. 利用触发器或者协程等方式建立本地索引，或者远程的独立索引. join订单信息、订单明细、用户信息、商品信息 ...

实时计算平台中的弹性集群资源管理 本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高 ...

flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer< ...

一. 1、对比：离线计算和实时计算 离线计算：MapReduce，批量处理（Sqoop-->HDFS--> MR ---> HDFS） 实时计算：Storm和Spark Sparking，数据实时性（Flume ---> Kafka ---> 流式计算 ---> ...