原文:Flink+Druid構建實時OLAP的探索

場景 k 在線教育公司的業務場景中,有一些業務場景需要實時統計和分析,如分析在線上課老師數量 學生數量,實時銷售額,課堂崩潰率等,需要實時反應上課的質量問題,以便於對整個公司的業務情況有大致的了解。 方案對比 對比了很多解決方案,如下幾種,列出來供參考。 方案 實時入庫 SQL支持度 Spark CarbonData 支持 Spark SQL語法豐富 Kylin 不支持 支持join Flink ...

2019-08-09 18:09 0 3687 推薦指數:

查看詳情

OLAPDruid實時數據攝入

實時數據攝入 我們采用Kafka Indexing Service作為實時攝入數據的方案。 准備工作 將數據實時灌入某個Kafka topic中 與批量導入數據類似:考慮清楚數據中哪一列可以作為時間列、哪些列可以作為維度列、哪些列可以作為指標列(尤其是指標的聚合函數,包括count ...

Thu Apr 09 06:33:00 CST 2020 0 641
實時OLAP分析利器Druid介紹

文章目錄 前言 Druid介紹 主要特性 基礎概念 數據格式 數據攝入 數據存儲 數據查詢 查詢類型 架構 運維 OLAP方案對比 使用場景 使用建議 參考 近期主題 前言 項目早期、數據(報表分析)的生產、存儲和獲取業務,MySQL基本上可以滿足需要 ...

Fri Apr 17 06:46:00 CST 2020 0 2352
OLAPDruid之查詢

數據查詢 Druid的聚合查詢主要有三種形式: Timeseries TopN GroupBy 一般而言,OLAP系統最核心的能力是GroupBy查詢,Druid也不例外。 但是GroupBy查詢資源消耗較多,TopN和Timeseries作為GroupBy的有益補充,能夠 ...

Thu Apr 09 06:37:00 CST 2020 0 651
druid.io 海量實時OLAP數據倉庫 (翻譯+總結) (1)

介紹 我是NDPmedia公司的大數據OLAP的資深高級工程師, 專注於OLAP領域, 現將一個成熟的可靠的高性能的海量實時OLAP數據倉庫介紹給大家: druid.io NDPmedia在2014年3月就開始使用, 見鏈接: http://blog.csdn.net/chenyi8888 ...

Thu May 21 22:39:00 CST 2015 3 12516
基於Flink構建全場景實時數倉

目錄: 一. 實時計算初期 二. 實時數倉建設 三. Lambda架構的實時數倉 四. Kappa架構的實時數倉 五. 流批結合的實時數倉 實時計算初期 雖然實時計算在最近幾年才火起來,但是在早期也有部分公司有實時計算的需求,但是數據量比較少,所以在實時方面形成不了完整的體系,基本所 ...

Sat Jul 17 21:00:00 CST 2021 1 873
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM