Apache Doris 輕松入門和快速實踐

Doris 最早是解決百度鳳巢統計報表的專用系統，隨着百度業務的飛速發展對系統進行了多次迭代，逐漸承擔起百度內部業務的統計報表和多維分析需求。2013 年，百度把 Doris 進行了 MPP 框架的升級，並將新系統命名為 Palo。2017 年以百度 Palo 的名字在 GitHub 上進行了開源。2018 年貢獻給 Apache 基金會時，由於與國外數據庫廠商重名，因此選擇用回最初的名字，這就是 Apache Doris 的由來。

Apache Doris是一個現代化的MPP分析型數據庫產品，僅需亞秒級響應時間即可獲得查詢結果，有效地支持實時數據分析。Apache Doris的分布式架構非常簡潔，易於運維，並且可以支持10PB以上的超大數據集。

Apache Doris可以滿足多種數據分析需求，例如固定歷史報表，實時數據分析，交互式數據分析和探索式數據分析等。令您的數據分析工作更加簡單高效！

Doris 的定位是面向在線報表和分析的數據倉庫系統，可以對標於商業的MPP 數據倉庫系統，比如Greenplum、Vertica、Teradata 等。

 

專欄大綱

Doris（原百度 Palo）是一款基於大規模並行處理技術的分布式 SQL 數據庫，由百度在 2017 年開源，2018 年 8 月進入 Apache 孵化器。Doris是基於MPP架構的OLAP引擎，主要整合了Google Mesa（數據模型）、Apache Impala（MPP Query Engine）和Apache ORCFile （存儲格式，編碼和壓縮）的技術。

 

Doris可以滿足企業級用戶的多種分析需求，包括OLAP多維分析，定制報表，實時數據分析，Ad-hoc數據分析等。

 

具體的業務場景包括：

• 數據倉庫建設
• OLAP/BI分析
• 用戶行為分析
• 廣告數據分析
• 系統監控分析
• 探針分析 APM（Application Performance Management）

 

《Apache Doris 輕松入門和快速實踐》技術專欄包括Apache Doris架構介紹、環境搭建、入門操作實例和演示項目源代碼。技術專欄從實戰出發，通過基礎介紹入門-環境搭建-項目實踐，讓初學者快速掌握Apache Doris分析型OLAP數據庫開源產品。其中示例項目KFD演示通過Flink處理Kafka中的消息記錄，處理之后的數據再寫入到Kafka和Elasticsearch中，最后以Routine Load方式再將處理好的數據導入到Doris中。

技術專欄主要包含如下內容：

• Apache Doris入門：基於 MPP 技術的SQL分析型數據庫
• 如何通過源碼編譯Apache Doris？手把手教你完成整個編譯過程
• Apache Doris 部署所需的軟硬件環境以及節點規划
• Apache Doris 配置和啟動運行FE節點詳細過程
• Apache Doris 配置和啟動運行BE節點詳細過程
• Apache Doris 查看FE運行情況，以及擴容和縮容FE實例
• Apache Doris 查看BE運行情況，以及擴容和縮容BE實例
• 快速部署Apache Doris演示環境
• 快速體驗Apache Doris：基礎使用入門、創建賬號和數據庫
• 快速體驗Apache Doris：創建單分區表、導入數據、簡單查詢操作
• 快速體驗Apache Doris：創建復合分區表、導入數據、簡單查詢
• 快速體驗Apache Doris：修改表結構
• 快速體驗Apache Doris：創建Rollup上卷表
• Apache Doris 數據模型：Aggregate聚合模型的基本概念和入門演示
• Apache Doris 數據模型：Uniq 唯一模型的基本概念和入門演示
• Apache Doris 數據模型：Duplicate 明細模型的基本概念和入門演示
• Apache Doris 中 BITMAP 基本原理、數據類型和內置函數
• Apache Doris 中BITMAP 聚合函數的使用入門
• Apache Doris 中BITMAP_INTERSECT和INTERSECT_COUNT的使用入門和留存計算
• Apache Doris 動態分區表詳細使用入門
• 項目實踐：實現Kafka消息記錄導入Apache Doris數據表【1】
• 項目實踐：實現Kafka消息記錄導入Apache Doris數據表【2】
• 項目實踐：實現Kafka消息記錄導入Apache Doris數據表【3】
• 項目實踐KFD：Flink應用通過Kafka Connector組件消費Kafka數據
• 項目實踐KFD：Flink消費Kafka數據進行統計處理
• 項目實踐KFD：Flink統計處理之后的數據sink到Kafka
• 項目實踐KFD：Flink對於遲到數據處理的開發實踐
• 項目實踐KFD：改進Flink輸出到Kafka消息隊列的數據格式
• 項目實踐KFD：處理過的訪問數據通過Routine Load導入到Doris
• 項目實踐KFD：Flink統計處理之后的數據sink到Elasticsearch
• 一步一步編譯最新版Apache Doris 0.15版本的詳細過程
• 一步一步編譯最新版Apache Doris 0.15中的擴展插件Flink Doris Connector
• Apache Doris集群從0.14到0.15版本平滑升級實戰
• 基於Flink Doris Connector擴展插件的項目開發實踐（1）
• 基於Flink Doris Connector擴展插件的項目開發實踐（2）
• 基於Flink Doris Connector擴展插件的項目開發實踐（3）
• ...