Druid.io系列（九）：數據攝入
1. 概述 Druid的數據攝入主要包括兩大類： 1. 實時輸入攝入：包括Pull,Push兩種 - Pull:需要啟動一個RealtimeNode節點，通過不同的Firehose攝取不同種類的數據源。 - Push:需要啟動Tranquility或是Kafka索引服務。通過HTTP調用的方式 ...
原文：OLAP之Druid之實時數據攝入
實時數據攝入 我們采用Kafka Indexing Service作為實時攝入數據的方案。 准備工作 將數據實時灌入某個Kafka topic中 與批量導入數據類似：考慮清楚數據中哪一列可以作為時間列 哪些列可以作為維度列 哪些列可以作為指標列 尤其是指標的聚合函數，包括count sum max min等，如果涉及UV 留存的計算，則需要使用HyperUnique或者Theta sketch 考 ...
2020-04-08 22:33 0 641 推薦指數：
相關推薦
你需要的不是實時數倉 | 你需要的是一款強大的OLAP數據庫(下)
在上一章節中，我們講到實時數倉的建設，互聯網大數據技術發展到今天，各個領域基本已經成熟，有各式各樣的解決方案可以供我們選擇。 在實時數倉建設中，解決方案成熟，消息隊列Kafka、Redis、Hbase鮮有敵手，幾乎已成壟斷之勢。而OLAP的選擇則制約整個實時數倉的能力。開源盛世的今天，可以供 ...
你需要的不是實時數倉 | 你需要的是一款合適且強大的OLAP數據庫(上)
前言 今年有個現象，實時數倉建設突然就被大家所關注。我個人在公眾號也寫過和轉載過幾篇關於實時數據倉庫的文章和方案。 但是對於實時數倉的狂熱追求大可不必。 首先，在技術上幾乎沒有難點，基於強大的開源中間件實現實時數據倉庫的需求已經變得沒有那么困難。其次，實時數倉的建設一定是伴隨着業務的發展 ...
實時OLAP分析利器Druid介紹
文章目錄 前言 Druid介紹 主要特性 基礎概念 數據格式 數據攝入 數據存儲 數據查詢 查詢類型 架構 運維 OLAP方案對比 使用場景 使用建議 參考 近期主題 前言 項目早期、數據（報表分析）的生產、存儲和獲取業務，MySQL基本上可以滿足需要 ...
Flink+Druid構建實時OLAP的探索
場景 k12在線教育公司的業務場景中，有一些業務場景需要實時統計和分析，如分析在線上課老師數量、學生數量，實時銷售額，課堂崩潰率等，需要實時反應上課的質量問題，以便於對整個公司的業務情況有大致的了解。 方案對比 對比了很多解決方案，如下幾種，列出來供參考。 方案 ...
druid.io 海量實時OLAP數據倉庫 (翻譯+總結) (1)
介紹 我是NDPmedia公司的大數據OLAP的資深高級工程師， 專注於OLAP領域, 現將一個成熟的可靠的高性能的海量實時OLAP數據倉庫介紹給大家: druid.io NDPmedia在2014年3月就開始使用, 見鏈接: http://blog.csdn.net/chenyi8888 ...
實時數據顯示
實時數據顯示--SignalR實例演示 近段時間，有實現一個看板的功能，就是用戶更新信息時，即是對數據庫的數據進行插入，更新，或是刪除時，在牆上的屏幕的數據不需要人為去刷新，用戶就能看到更新后的數據。實現此功能，Insus.NET使用SignalR的技術來實現。下面的實例中，雖然不是實際的數據 ...
druid.io 海量實時OLAP數據倉庫 (翻譯+總結) (1)——分析框架如hive或者redshift（MPPDB）、ES等
介紹 我是NDPmedia公司的大數據OLAP的資深高級工程師， 專注於OLAP領域, 現將一個成熟的可靠的高性能的海量實時OLAP數據倉庫介紹給大家: druid.io NDPmedia在2014年3月就開始使用, 見鏈接: http://blog.csdn.net ...