奈學教育《大數據架構師》課程大綱


深度剖析了各個基礎技術的源碼(ZooKeeper、Hive、Spark、Flink、Hadoop等),對這些基礎技 術知識動態的排列組合,形成大數據全局架構觀,並深入講述大數據全局架構設計的方方面面,打 造真正滿足企業萬億級海量數據規模的數據中台,真正賦能前台業務。同時,在企業萬億級真實項 目落地環節,采用高性能、高可用、高擴展的架構設計原則,技術上更是融合了企業級主流的離線 架構和實時架構,帶領大家構建PB級的大數據中台,真正落地“企業千億級的數據倉庫中台”,實現 “企業級數據中心平台”,搞定“企業千億級廣告統一數據流智能分析平台”,掌握“企業級Hadoop平 台全方位二次源碼開發”,讓學員面對企業各種海量復雜業務場景,給出優雅的大數據架構設計方 案,從而真正成為企業級大數據架構師!

第一階段:分布式協調組件

第一單元

掌握ZooKeeper的核心設計

1. ZooKeeper生態體系結構
2. ZooKeeper總體架構設計
3. ZooKeeper讀寫請求流程深度剖析

第二單元

掌握ZooKeeper服務端源碼流程

1. ZooKeeper啟動流程源碼深度剖析
2. Master選舉算法源碼深度剖析
3. 服務端通信模型源碼深度剖析

第三單元

掌握ZooKeeper客戶端源碼流程

1. 客戶端啟動流程源碼剖析
2. 客戶端通信模型源碼剖析
3. Session管理機制源碼剖析

第四單元

掌握ZooKeeper企業應用

1. ZooKeeper寫數據流程源碼剖析
2. ZooKeeper企業級應用
3. ZooKeeper調優

 

第二階段:大數據基礎平台

第五單元

掌握HDFS的核心架構設計

1. HDFS架構優勢
2. Hadoop RPC原理剖析

第六單元

掌握HDFS集群啟動流程

1. NameNode啟動流程源碼剖析
2. NameNode核心服務啟動源碼深度剖析
3. DataNode啟動流程源碼深度剖析
4. DataNode注冊流程源碼深度剖析
5. DataNode心跳流程源碼深度剖析

第七單元

掌握HDFS元數據管理流程

1. HDFS元數據管理流程源碼深度剖析
2. HDFS支持億級流量的秘密源碼深度剖析

第八單元

掌握HDFS數據讀寫流程

1. HDFS寫數據流程源碼剖析源碼深度剖析
2. HDFS讀數據流程源碼剖析源碼深度剖析

第九單元

掌握MapReduce的核心架構設計

1. MapReduce核心架構設計
2. Map端源碼深度剖析

第十單元

掌握MapReduce的核心源碼流程

1. Shuffle源碼深度剖析
2. Reducer端源碼深度剖析

第十一單元

掌握YARN核心架構設計原理

1. YARN架構設計
2. YARN運行流程深度剖析
3. YARN核心組件源碼深度剖析

第三階段:分布式數據倉庫

第三階段:分布式數據倉庫

第十二單元

掌握Hive核心組件以及調優技巧

1. Hive運行流程深度剖析
2. Hive核心組件源碼深度剖析
3. Hive企業級調優

第四階段:分布式列式數據庫

第四階段:分布式列式數據庫

第十三單元

掌握HBase核心架構設計原理

1. HBase架構設計優勢
2. HBase核心組件源碼剖析
3. HBase企業級案例應用

第五階段:分布式消息系統

第五階段:分布式消息系統

第十四單元

掌握Kafka架構設計優勢

1. Kafka架構設計優勢
2. Kafka消費者源碼深度剖析

第十五單元

掌握服務端源碼核心設計

1. Kafka服務端源碼之集群啟動源碼深度剖析
2. Kafka服務端源碼之副本同步源碼深度剖析
3. Kafka服務端源碼之網絡架構設計源碼深度剖析

第十六單元

掌握Kafka企業級調優技巧

1. Kafka服務端源碼之請求處理源碼深度剖析
2. Kafka企業級調優

第六階段:分布式日志采集系統

第六階段:分布式日志采集系統

第十七單元

掌握Flume/Canal核心組件原理

1. Flume核心組件源碼深度剖析
2. Canal核心原理深度剖析

第七階段:快速通用的分布式計算引擎

第七階段:快速通用的分布式計算引擎

第十八單元

掌握Spark內核任務執行流程

1. Spark核心架構原理
2. Spark任務執行流程深度剖析
3. SparkCore源碼深度剖析

第十九單元

掌握Spark內核企業級調優

1. SparkCore源碼深度剖析
2. SparkCore企業級調優

第二十單元

掌握SparkSQL核心組件原理

1. SparkSQL核心組件深度剖析
2. SparkSQL企業案例實踐

第二十一單元

掌握SparkStreaming核心流程

1. SparkStreaming核心流程深度剖析
2. SparkStreaming核心組件源碼剖析
3. SparkStreaming企業案例實踐

第二十二單元

掌握Spark核心開發原理

1. Spark企業案例實踐

第八階段:新一代的分布式計算引擎

第八階段:新一代的分布式計算引擎

第二十三單元

掌握Flink核心運行流程

1.Flink核心流程深度剖析
2.Flink核心知識點梳理
3.Flink核心源碼深度剖析

第二十四單元

掌握Flink核心源碼流程

1.Flink核心源碼深度剖析

第二十五單元

掌握Flink核心技術實踐

1.Flink核心流程深度剖析
2.Flink企業案例實踐

第九階段:大數據全局架構設計

第九階段:大數據全局架構設計

第二十六單元

掌握大數據全局架構設計思想

1.Lambda架構原理深度剖析
2.Kappa架構設計原理深度剖析
3.架構選型深度剖析

第二十七單元

掌握大數據中台落地實踐方案

1.大數據中台原理深度剖析
2.大數據中台IaaS層落地
3.大數據中台PaaS層落地

第二十八單元

掌握大數據中台企業案例實踐

1.大數據中台數據采集流程案例實踐
2.大數據中台數據處理流程案例實踐
3.大數據中台可視化層流程案例實踐

第十階段:企業級大型項目落地

第十階段:企業級大型項目落地

第二十九單元

掌握千億級數倉庫架構設計

1.數倉分層設計
2.數倉維度建模設計
3.數倉事實表設計
4.數倉主題設計
5.數倉數據集市設計

第三十單元

掌握千億級數倉庫方案落地

1.數據采集案例實踐
2.數倉落地案例實踐
3.數據質量管理

第三十一單元

掌握企業級Hadoop平台源碼二次開發

1.企業級Hadoop平台穩定性痛點剖析
2.企業級Hadoop平台穩定性提升

第三十二單元

掌握企業級Hadoop平台源碼二次開發

1.企業級Hadoop平台穩定性痛點剖析
2.企業級Hadoop平台穩定性提升

第三十三單元

掌握PB級X2C電商用戶畫像系統架構設計

1.用戶畫像系統需求分析
2.用戶畫像系統指標統計
3.用戶畫像系統報表開發

第三十四單元

掌握PB級X3C電商用戶畫像系統方案實踐

1.用戶畫像系統標簽合並

第三十五單元

掌握千億級廣告統一數據流分析平台痛點方案設計

1.數據流分析平台需求分析
2.數據流分析系統架構方案設計
3.場景痛點深度剖析

第三十六單元

掌握千億級廣告統一數據流分析平台方案實踐

1.數據流分析系統架構方案落地

第三十七單元

掌握企業級分布式內存對象緩存系統數據中心架構設計

1.高復用邏輯封裝與高可用數據存取服務設計
2.多站點數據同步架構設計
3.數據中心數據緩存失效機制設計

第三十八單元

掌握企業級分布式內存對象緩存系統數據中心方案實踐

1.企業級分布式內存對象緩存系統代碼落地

 相關課程推薦:

大數據開發工程師

大數據架構師

Java資深研發工程師

P7架構師

百萬架構師

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM