場景 k12在線教育公司的業務場景中，有一些業務場景需要實時統計和分析，如分析在線上課老師數量、學生數量，實時銷售額，課堂崩潰率等，需要實時反應上課的質量問題，以便於對整個公司的業務情況有大致的了解。 方案對比 對比了很多解決方案，如下幾種，列出來供參考。 方案 ...

實時數據攝入 我們采用Kafka Indexing Service作為實時攝入數據的方案。 准備工作 將數據實時灌入某個Kafka topic中 與批量導入數據類似：考慮清楚數據中哪一列可以作為時間列、哪些列可以作為維度列、哪些列可以作為指標列（尤其是指標的聚合函數，包括count ...

文章目錄 前言 Druid介紹 主要特性 基礎概念 數據格式 數據攝入 數據存儲 數據查詢 查詢類型 架構 運維 OLAP方案對比 使用場景 使用建議 參考 近期主題 前言 項目早期、數據（報表分析）的生產、存儲和獲取業務，MySQL基本上可以滿足需要 ...

背景 產品經理想要實時查詢一些指標數據，在新版本的APP上線之后，我們APP的一些質量指標，比如課堂連接掉線率，課堂內崩潰率，APP崩潰率等指標，以此來看APP升級之后上課的體驗是否有所提升，上課質量是否有所提高，為下一步的APP升級做准備。 客戶端埋點 1.0版本設計 流程 按照需求 ...

介紹 我是NDPmedia公司的大數據OLAP的資深高級工程師， 專注於OLAP領域, 現將一個成熟的可靠的高性能的海量實時OLAP數據倉庫介紹給大家: druid.io NDPmedia在2014年3月就開始使用, 見鏈接: http://blog.csdn.net ...

1.近實時搜索 1.1 實時與近實時 實時搜索（Real-time Search）很好理解，對於一個數據庫系統，執行插入以后立刻就能搜索到剛剛插入到數據。而近實時（Near Real-time），所謂“近”也就是說比實時要慢一點點。 1.2 近實時的挑戰 對於一個單機系統來說 ...

1. 引言 在做OLAP數據分析時，常常會遇到過濾分析需求，比如：除去只有性別、常駐地標簽的用戶，計算廣告媒體上的覆蓋UV。OLAP解決方案Kylin不支持復雜數據類型（array、struct、map），要求數據輸入Schema必須是平鋪的，但是平鋪后丟失了用戶的聚合標簽信息，而沒有辦法判斷 ...

公司是做社交相關產品的，社交類產品對搜索功能需求要求就比較高，需要根據用戶城市、用戶ID昵稱等進行搜索。 項目原先的搜索接口采用SQL查詢的方式實現，數據庫表采用了按城市分表的方式。但隨着業務的發展，搜索接口調用頻次越來越高，搜索接口壓力越來越大，搜索數據庫經常崩潰，從而導致搜索功能 ...