說明：大數據時代，傳統運維向大數據運維升級換代很常見，也是個不錯的機會。如果想系統學習大數據運維，個人比較推薦通信巨頭運維大咖的分享課：
https://url.cn/5HIqOOr，主要是實戰強、含金量高、專注度高，有6個專題+2個大型項目+騰訊雲服務器，真槍實彈傳授上千大數據集群運維經驗。
課程介紹：
這是專門為IT運維人員設計的高端大數據課程，可能也是目前的 only one！課程內容從100多份招聘要求中萃取知識點，再邀請幾位年薪60W+的大數據運維專家共同商討打磨而成。傳統運維人員工作~忙~累~苦~而又工資低，多年運維老手的工資往往不如剛畢業一兩年的碼農。本課程意在借大數據紅利之勢，幫助大家抓住機遇拿下高薪，職業華麗升級轉型！
課程以電信運營商實戰項目為導向，結合企業大數據運維實際應用場景，一步步帶着學員掌握大數據運維各個技術環節。通過《從0建設大數據平台》實戰，讓學員有能力幫助企業實現大數據平台從無到有；通過《大規模集群運維實戰》實戰，讓學員有能力保障維護大型大數據集群的穩定、有效、安全。課程在考慮內容覆蓋面同時，非常注重實用性，力求讓學員所學即所用，切實解決企業工作中的實際問題，拒絕無用功和假把式。文檔豐富詳盡，大部分內容來自上千節點產線環境之實踐，或許你能整理出一份大數據運維”九陰真經“。
課程亮點：
實戰性強：以解決企業實際問題為導向。從0建設大數據平台項目，解決企業大數據平台從無到有的迫切問題。大規模集群運維實戰，解決企業如何平穩運行和維護大數據平台。
含金量高：采用Cloudra Manager構建企業級大數據平台，傳授上千節點大數據運維經驗，解決千億級別大數據集群產線問題。
專注度高：專注於大數據運維，課程涵蓋大數據集群規划、集群部署、集群安全、集群監控、集群容器化、集群運維，培養大數據運維專業人才。
適合人群：
1.IT運維人員提升拿高薪
2.網管/技術支持蛻變轉型漲薪
3.Leader/架構師 擴充技術棧
4.大專/本科學生輕松入行大數據
就業崗位：
1.大數據運維工程師
2.大數據平台架構師
3.大數據平台運維
課程大綱：
第一章 大數據運維通識
1.大數據概述及技術生態介紹
2.大數據運維及其他部門如何分工協作
3.大數據運維需要掌握哪些必備技能
4.如何成為高薪的大數據運維人才
第二章 大數據集群規划
1.網絡規划
1.1機房區域划分
1.2機房三層網絡結構
1.3網絡帶寬規划（千兆，萬兆）
1.4主機網卡bond模式
2.集群規划
2.1集群業務規划
2.2集群節點規划
2.2.1HDFS集群節點規划
2.2.2HBase集群節點規划
2.2.3Kafka集群節點規划
2.2.4Zookeeper節點規划
2.2.5YARN節點規划
2.2.6ElasticSearch節點規划
2.3存儲規划
2.3.1Raid規划
2.3.2多磁盤規划
第三章 大數據集群搭建
1.集群安裝部署方式
1.1Ambari+hdp自動化部署
1.2CM+cdh自動化部署
1.3Hadoop手動安裝部署
2.集群部署平台選擇
2.1阿里雲
2.2EC2
2.3物理服務器
3.大數據技術組件部署
3.1Zookeeper集群安裝
3.2HDFS集群安裝
3.3YARN集群安裝
3.4Hive客戶端安裝
3.5HBase集群安裝
3.6Kafka集群安裝
3.7Spark集群安裝
3.8Flink集群安裝
3.9接口機/跳板機安裝
4.核心技術組件體系結構
4.1HDFS體系結構
4.2YARN體系結構
4.3HBase體系結構
4.4Kafka體系結構
第四章 大數據集群安全
1.HDFS ACL存儲權限控制
2.資源隊列權限控制
3.HDFS Sentry權限控制
4.vpn權限控制
5.雲桌面權限控制
第五章 大數據集群監控
1.集群級別監控
1.1集群cpu負載
1.2集群磁盤IO負載
1.3集群網絡IO負載
1.4HDFS IO負載
1.5集群內存負載
2.YARN監控
2.1ResourceManager運行狀況
2.2NodeManager運行狀況
2.3JobHistory Server運行狀況
2.4應用程序監控
2.5容器監控
2.6JVM監控
2.7RPC監控
2.8作業監控
2.9資源隊列監控
3.HDFS監控
3.1容量監控
3.2DataNode讀寫監控
3.3事務監控
3.4編輯日志監控
3.5Rpc監控
3.6JVM堆棧監控
4.Kafka監控
4.1Broker監控
4.2topic 分區監控
4.3IO監控
5.Zookeeper監控
5.1進程IAAS層指標監控
5.2運行狀況監控
5.3連接情況監控
5.4請求監控
5.5數據包監控
5.6JVM監控
6.HBase監控
6.1regionserver區域監控
6.2讀寫請求監控
6.3事件監控
6.4運行狀態監控
6.5JVM監控
6.6關鍵節點主機指標監控
第六章 大數據容器化技術
1.Docker容器化技術
1.1Docker實現原理
1.2Docker安裝部署
1.3Docker容器管理
1.4Docker鏡像及倉庫管理
1.5Spark ON Docker集群搭建
2.Kubernetes(k8s)容器化技術
2.1k8s快速入門
2.2k8s系統架構
2.3k8s基礎組件說明
2.4k8s基礎服務安裝
2.5k8s分布式安裝
2.6k8s Nginx部署
3.大數據容器化技術實踐
3.1基於kubernetes（k8s）調度的Flink大數據流式計算
3.2Docker+k8s容器化技術在大數據應用服務的落地實踐
3.3Docker+k8s部署、監控實踐
項目一：從0建設大數據平台
1.大數據平台前期調研
1.1歷史數據總量
1.2數據每天增長量
1.3數據TTL
2.集群硬件規划
2.1總體規划的考慮
2.1.1集群規模控制因素
1）依據數據量計算磁盤總量
2）依據數據塊計算NameNode內存總量
3）依據任務量和性能計算集群數量
2.1.2集群構建考慮因素
1）構建HA高可用集群
2）物理機、雲主機
3）部署方式選擇：原生集群、CDH集群、hdp集群
2.2集群硬件選擇
2.2.1主節點配置
2.2.2從節點配置
2.2.3CPU配置
2.2.4Core與內存配置
2.2.5磁盤配置
3.集群節點規划
3.1集群業務規划
3.2集群節點規划
3.2.1HDFS節點規划
3.2.2HBase節點規划
3.2.3Kafka節點規划
3.2.4YARN節點規划
3.2.5Zookeeper節點規划
3.2.6ElasticSearch節點規划
3.3集群存儲規划
4.大數據平台目錄規划
4.1HDFS目錄規划
4.2linux os目錄規划
4.3linux主機名規划
4.4臨時目錄規划
5.網絡規划
5.1機房選擇
5.2網絡帶寬規划
5.3主機網卡規划
6.大數據平台構建
6.1選擇集群部署平台
6.2選擇集群部署方式
6.3大數據平台構建
6.4接口機部署
7.數據遷移至大數據平台
7.1文件數據遷移大數據平台
7.2數據庫數據遷移大樹將軍平台
7.3數據一致性驗證
8.大數據平台維護與管理
8.1集群啟停
8.2集群各進程維護操作
8.3數據平衡操作
8.4集群日常運維
8.5大數據平台權限控制
項目二：大規模集群運維實踐
1.大數據集群基礎運維
1.1集群啟停
1.2 集群各進程維護操作
1.3數據平衡操作
1.4集群日常運維
2.大數據集群擴縮容
2.1HDFS節點增加與刪除
2.2YARN節點增加與刪除
2.3HBase節點增加與刪除
2.4Kafka節點增加與刪除
3.大數據集群巡檢
3.1HDFS巡檢思路與技巧
3.2YARN巡檢思路與技巧
3.3HBase巡檢思路與技巧
3.4Zookeeper巡檢思路與技巧
3.5Kafka巡檢思路與技巧
4.大數據集群產線問題解決
4.1產線環境數據加工延遲定位
4.2作業執行緩慢根因定位
4.3作業數據傾斜問題排查
4.4hive入庫延遲根因定位
4.5HBase數據丟失故障復盤
4.6HBase數據誤刪數據恢復
4.7Spark環境引起的資源申請不到問題定位
5.大規模集群數據遷移
5.1數據遷移方案
5.2數據遷移前集群准備
5.3大規模數據遷移流程
5.4數據驗證