阿里如何实现海量数据实时分析技术－AnalyticDB
导读：随着数据量的快速增长，越来越多的企业迎来业务数据化时代，数据成为了最重要的生产资料和业务升级依据。本文由阿里AnalyticDB团队出品，近万字长文，首次深度解读阿里在海量数据实时分析领域的多项核心技术。 数字经济时代已经来临，希望能和业界同行共同探索，加速行业数字化升级，服务更多 ...
原文：通过Flink实现个推海量消息数据的实时统计
背景 消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况 消息下发到达成功率 用户对消息的点击情况等。 个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成消息报表。个推每天下发的消息推送数巨大，可以达 ...
2019-12-22 01:24 0 4757 推荐指数：
相关推荐
巧用 Bitmap 实现亿级海量数据统计
在移动应用的业务场景中，我们需要保存这样的信息：一个 key 关联了一个数据集合。 常见的场景如下： 给一个 userId ，判断用户登陆状态； 显示用户某个月的签到次数和首次签到时间； 两亿用户最近 7 天的签到情况，统计 7 天内连续签到的用户总数； 通常情况下 ...
指标统计：基于流计算 Oceanus(Flink) 实现实时 UVPV 统计
作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一 解决方案描述 1.1 概述 本方案结合本地 ...
使用flink-cdc实现实时数据同步
使用flink-cdc实现实时数据库同步 本文地址：https://www.cnblogs.com/muphy/p/16043924.html Flink CDC Connectors 是Apache Flink的一组源连接器，使用变更数据捕获 (CDC) 从不同的数据库中获取 ...
canal-kakfa-flink实现mysql数据的实时同步(一)
一、canal介绍 官网的介绍： 名称：canal [kə'næl] 译意： 水道/管道/沟渠 语言： 纯java开发 定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql 关键词： mysql binlog parser / real-time ...
海量积分数据实时排名算法
问题描述 积分排名在很多项目都会出现，积分排名主要满足以下需求： 查询用户名次。 查询TopN(即查询前N名的用户) 实时排名（很多项目是可选的） 当排序的数据量不大的时候，这个需求很容易满足，但是如果数据量很大的时候比如百万级、千万级甚至上亿的时候，或者有实时排名 ...
Flink模拟项目： 实时流量统计
3.1 模块创建和数据准备 在UserBehaviorAnalysis下新建一个 maven module作为子项目，命名为NetworkTrafficAnalysis。在这个子模块中，我们同样并没有引入更多的依赖，所以也不需要改动pom文件。 在src/main/目录下，将默认源文件 ...
Flink实战教程：实时热门统计
实战案例介绍 本案例将实现一个“实时热门商品”的需求，我们可以将“实时热门商品”翻译成程序员更好理解的需求：每隔5分钟输出最近一小时内点击量最多的前 N 个商品。 将这个需求进行分解我们大概要做这么几件事情： 抽取出业务时间戳，告诉 Flink 框架基于业务时间 ...