Druid.io系列（九）：数据摄入
1. 概述 Druid的数据摄入主要包括两大类： 1. 实时输入摄入：包括Pull,Push两种 - Pull:需要启动一个RealtimeNode节点，通过不同的Firehose摄取不同种类的数据源。 - Push:需要启动Tranquility或是Kafka索引服务。通过HTTP调用的方式 ...
原文：OLAP之Druid之实时数据摄入
实时数据摄入 我们采用Kafka Indexing Service作为实时摄入数据的方案。 准备工作 将数据实时灌入某个Kafka topic中 与批量导入数据类似：考虑清楚数据中哪一列可以作为时间列 哪些列可以作为维度列 哪些列可以作为指标列 尤其是指标的聚合函数，包括count sum max min等，如果涉及UV 留存的计算，则需要使用HyperUnique或者Theta sketch 考 ...
2020-04-08 22:33 0 641 推荐指数：
相关推荐
你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(下)
在上一章节中，我们讲到实时数仓的建设，互联网大数据技术发展到今天，各个领域基本已经成熟，有各式各样的解决方案可以供我们选择。 在实时数仓建设中，解决方案成熟，消息队列Kafka、Redis、Hbase鲜有敌手，几乎已成垄断之势。而OLAP的选择则制约整个实时数仓的能力。开源盛世的今天，可以供 ...
你需要的不是实时数仓 | 你需要的是一款合适且强大的OLAP数据库(上)
前言 今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。 但是对于实时数仓的狂热追求大可不必。 首先，在技术上几乎没有难点，基于强大的开源中间件实现实时数据仓库的需求已经变得没有那么困难。其次，实时数仓的建设一定是伴随着业务的发展 ...
实时OLAP分析利器Druid介绍
文章目录 前言 Druid介绍 主要特性 基础概念 数据格式 数据摄入 数据存储 数据查询 查询类型 架构 运维 OLAP方案对比 使用场景 使用建议 参考 近期主题 前言 项目早期、数据（报表分析）的生产、存储和获取业务，MySQL基本上可以满足需要 ...
Flink+Druid构建实时OLAP的探索
场景 k12在线教育公司的业务场景中，有一些业务场景需要实时统计和分析，如分析在线上课老师数量、学生数量，实时销售额，课堂崩溃率等，需要实时反应上课的质量问题，以便于对整个公司的业务情况有大致的了解。 方案对比 对比了很多解决方案，如下几种，列出来供参考。 方案 ...
druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)
介绍 我是NDPmedia公司的大数据OLAP的资深高级工程师， 专注于OLAP领域, 现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家: druid.io NDPmedia在2014年3月就开始使用, 见链接: http://blog.csdn.net/chenyi8888 ...
实时数据显示
实时数据显示--SignalR实例演示 近段时间，有实现一个看板的功能，就是用户更新信息时，即是对数据库的数据进行插入，更新，或是删除时，在墙上的屏幕的数据不需要人为去刷新，用户就能看到更新后的数据。实现此功能，Insus.NET使用SignalR的技术来实现。下面的实例中，虽然不是实际的数据 ...
druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)——分析框架如hive或者redshift（MPPDB）、ES等
介绍 我是NDPmedia公司的大数据OLAP的资深高级工程师， 专注于OLAP领域, 现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家: druid.io NDPmedia在2014年3月就开始使用, 见链接: http://blog.csdn.net ...