深度剖析了各個基礎技術的源碼(ZooKeeper、Hive、Spark、Flink、Hadoop等),對這些基礎技 術知識動態的排列組合,形成大數據全局架構觀,並深入講述大數據全局架構設計的方方面面,打 造真正滿足企業萬億級海量數據規模的數據中台,真正賦能前台業務。同時,在企業萬億級真實項 目落地環節,采用高性能、高可用、高擴展的架構設計原則,技術上更是融合了企業級主流的離線 架構和實時架構,帶領大家構建PB級的大數據中台,真正落地“企業千億級的數據倉庫中台”,實現 “企業級數據中心平台”,搞定“企業千億級廣告統一數據流智能分析平台”,掌握“企業級Hadoop平 台全方位二次源碼開發”,讓學員面對企業各種海量復雜業務場景,給出優雅的大數據架構設計方 案,從而真正成為企業級大數據架構師!
第一階段:分布式協調組件 |
||
第一單元 |
掌握ZooKeeper的核心設計 |
1. ZooKeeper生態體系結構 |
第二單元 |
掌握ZooKeeper服務端源碼流程 |
1. ZooKeeper啟動流程源碼深度剖析 |
第三單元 |
掌握ZooKeeper客戶端源碼流程 |
1. 客戶端啟動流程源碼剖析 |
第四單元 |
掌握ZooKeeper企業應用 |
1. ZooKeeper寫數據流程源碼剖析 |
第二階段:大數據基礎平台 |
||
第五單元 |
掌握HDFS的核心架構設計 |
1. HDFS架構優勢 |
第六單元 |
掌握HDFS集群啟動流程 |
1. NameNode啟動流程源碼剖析 |
第七單元 |
掌握HDFS元數據管理流程 |
1. HDFS元數據管理流程源碼深度剖析 |
第八單元 |
掌握HDFS數據讀寫流程 |
1. HDFS寫數據流程源碼剖析源碼深度剖析 |
第九單元 |
掌握MapReduce的核心架構設計 |
1. MapReduce核心架構設計 |
第十單元 |
掌握MapReduce的核心源碼流程 |
1. Shuffle源碼深度剖析 |
第十一單元 |
掌握YARN核心架構設計原理 |
1. YARN架構設計 |
第三階段:分布式數據倉庫
第三階段:分布式數據倉庫 |
||
第十二單元 |
掌握Hive核心組件以及調優技巧 |
1. Hive運行流程深度剖析 |
第四階段:分布式列式數據庫
第四階段:分布式列式數據庫 |
||
第十三單元 |
掌握HBase核心架構設計原理 |
1. HBase架構設計優勢 |
第五階段:分布式消息系統
第五階段:分布式消息系統 |
||
第十四單元 |
掌握Kafka架構設計優勢 |
1. Kafka架構設計優勢 |
第十五單元 |
掌握服務端源碼核心設計 |
1. Kafka服務端源碼之集群啟動源碼深度剖析 |
第十六單元 |
掌握Kafka企業級調優技巧 |
1. Kafka服務端源碼之請求處理源碼深度剖析 |
第六階段:分布式日志采集系統
第六階段:分布式日志采集系統 |
||
第十七單元 |
掌握Flume/Canal核心組件原理 |
1. Flume核心組件源碼深度剖析 |
第七階段:快速通用的分布式計算引擎
第七階段:快速通用的分布式計算引擎 |
||
第十八單元 |
掌握Spark內核任務執行流程 |
1. Spark核心架構原理 |
第十九單元 |
掌握Spark內核企業級調優 |
1. SparkCore源碼深度剖析 |
第二十單元 |
掌握SparkSQL核心組件原理 |
1. SparkSQL核心組件深度剖析 |
第二十一單元 |
掌握SparkStreaming核心流程 |
1. SparkStreaming核心流程深度剖析 |
第二十二單元 |
掌握Spark核心開發原理 |
1. Spark企業案例實踐 |
第八階段:新一代的分布式計算引擎
第八階段:新一代的分布式計算引擎 |
||
第二十三單元 |
掌握Flink核心運行流程 |
1.Flink核心流程深度剖析 |
第二十四單元 |
掌握Flink核心源碼流程 |
1.Flink核心源碼深度剖析 |
第二十五單元 |
掌握Flink核心技術實踐 |
1.Flink核心流程深度剖析 |
第九階段:大數據全局架構設計
第九階段:大數據全局架構設計 |
||
第二十六單元 |
掌握大數據全局架構設計思想 |
1.Lambda架構原理深度剖析 |
第二十七單元 |
掌握大數據中台落地實踐方案 |
1.大數據中台原理深度剖析 |
第二十八單元 |
掌握大數據中台企業案例實踐 |
1.大數據中台數據采集流程案例實踐 |
第十階段:企業級大型項目落地
第十階段:企業級大型項目落地 |
||
第二十九單元 |
掌握千億級數倉庫架構設計 |
1.數倉分層設計 |
第三十單元 |
掌握千億級數倉庫方案落地 |
1.數據采集案例實踐 |
第三十一單元 |
掌握企業級Hadoop平台源碼二次開發 |
1.企業級Hadoop平台穩定性痛點剖析 |
第三十二單元 |
掌握企業級Hadoop平台源碼二次開發 |
1.企業級Hadoop平台穩定性痛點剖析 |
第三十三單元 |
掌握PB級X2C電商用戶畫像系統架構設計 |
1.用戶畫像系統需求分析 |
第三十四單元 |
掌握PB級X3C電商用戶畫像系統方案實踐 |
1.用戶畫像系統標簽合並 |
第三十五單元 |
掌握千億級廣告統一數據流分析平台痛點方案設計 |
1.數據流分析平台需求分析 |
第三十六單元 |
掌握千億級廣告統一數據流分析平台方案實踐 |
1.數據流分析系統架構方案落地 |
第三十七單元 |
掌握企業級分布式內存對象緩存系統數據中心架構設計 |
1.高復用邏輯封裝與高可用數據存取服務設計 |
第三十八單元 |
掌握企業級分布式內存對象緩存系統數據中心方案實踐 |
1.企業級分布式內存對象緩存系統代碼落地 |
相關課程推薦: