Storm大数据实时计算
大数据也是构建各类系统的时候一种全新的思维，以及架构理念，比如Storm，Hive，Spark，ZooKeeper，HBase，Elasticsearch，等等 storm，在做热数据这块，如果要做复杂的热数据的统计和分析，亿流量，高并发的场景下，最合适的技术就是storm，没有其他 举例说明 ...
原文：实时计算数据架构的演变
传统数据基础架构 传统单体数据架构最大的特点便是集中式数据存储，大多数分为计算层和存储层。 存储层，主要是负责存储企业各种系统产生的数据，如 Web 业务系统 订单系统 CRM 系统，ERP 系统 监控系统，数据比如系统的订单交易量，网站的活跃用户数，每个用户的交易额。 所有的操作均需要借助于同一套数据库实现。 单体架构初期效率很高，但是随着时间的推移，业务越来越多，上线迭代很快。 但随着后期业务 ...
2019-09-18 23:46 0 809 推荐指数：
相关推荐
云原生大数据架构中实时计算维表和结果表的选型实践
简介： 随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生，传统的大数据架构无法承载。 作者 | 志羽 来源 | 阿里技术公众号 一 前言 传统的大数据技术起源于 Google 三架马车 GFS、MapReduce、Bigtable，以及其衍生的开源分布式 ...
超200万？约翰斯·霍普金大学数据错误！——谈谈如何保证实时计算数据准确性
作为全球新冠疫情数据的实时统计的权威，约翰斯—霍普金斯大学的实时数据一直是大家实时关注的，也是各大媒体的主要数据来源。在今天早上的相当一段长的时间，霍普金斯大学的全球疫情分布大屏中显示，全球确诊人数已经突破200万。 有图有真相 随后相关媒体也进行了转发，不过这个数据明显波动太大，随后 ...
[文章]大数据实时处理：百分点实时计算架构和算法
当今时代，数据不再昂贵，但从海量数据中获取价值变得昂贵，而要及时获取价值则更加昂贵，这正是大数据实时计算越来越流行的原因。以百 分点公司为例，在高峰期每秒钟会有近万HTTP请求发送到百分点服务器上，这些请求包含了用户行为和个性化推荐请求。如何从这些数据中快速挖掘用户兴趣偏 好并作出效果不错 ...
你了解实时计算吗？
实时计算是什么？## 请看下面的图： 我们以热卖产品的统计为例，看下传统的计算手段： 将用户行为、log等信息清洗后保存在数据库中. 将订单信息保存在数据库中. 利用触发器或者协程等方式建立本地索引，或者远程的独立索引. join订单信息、订单明细、用户信息、商品信息 ...
Flink实时计算
flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer< ...
滴滴实时计算发展之路及平台架构实践
toc: true title: 滴滴实时计算发展之路及平台架构实践 date: 2019-08-25 tags: Flink 大数据 滴滴的核心业务是一个实时在线服务，因此具有丰富的实时数据和实时计算场景。本文将介绍滴滴实时计算发展之路以及平台架构实践。 实时计算 ...
实时计算平台
实时计算平台中的弹性集群资源管理 本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高 ...