数据来源：系统中可以采集到的数据，如用户数据、业务数据等，也包含系统运行时产生的日志数据等。 数据采集：不同数据源生成数据类型格式存在差异，在数据采集前可能增加数据 ...

1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？Flink or Spark？ 2.为何需要实时计算？ 根据IBM的统计报告显示 ...

前言 本文摘自本人《大数据重磅炸弹——实时计算框架 Flink》课程第二篇 自己之前发布过一篇 Chat 《大数据“重磅炸弹”：实时计算框架 Flink》，里面介绍了多种需求： 大数据发展至今，数据呈指数倍的增长，对实效性的要求也越来越高，于是像上面这种需求也变得越来越多 ...

实时计算是什么？## 请看下面的图： 我们以热卖产品的统计为例，看下传统的计算手段： 将用户行为、log等信息清洗后保存在数据库中. 将订单信息保存在数据库中. 利用触发器或者协程等方式建立本地索引，或者远程的独立索引. join订单信息、订单明细、用户信息、商品信息 ...

实时计算平台中的弹性集群资源管理 本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高 ...

flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer< ...

Connection refused 排查过程 connection refused 排查 起因 今天在连接 rabbitmq 时，报 Connection refused (如下图 ...

线上问题的排查过程1、测试统一收口，2、产品判断是否正常逻辑 | 测试判断是否已经用例覆盖 | 技术排查日志或代码变更 ...