《大規模分布式系統架構與設計實戰》
基本信息
作者： 彭淵
叢書名： 大數據技術叢書
出版社：機械工業出版社
ISBN：9787111455035
上架時間：2014-2-21
出版日期：2014 年2月
開本：16開
頁碼：1
版次：1-1
所屬分類：計算機 > 操作系統 > 操作系統理論 > 分布式操作系統
更多關於》》》《大規模分布式系統架構與設計實戰》
內容簡介
書籍
計算機書籍
《大規模分布式系統架構與設計實戰》是作者從程序員到首席架構師十多年職業生涯的實戰經驗總結，系統講解構建大規模分布式系統的核心技術與實現方法，包含作者開源的fourinone系統的設計與實現過程，手把手教你掌握分布式技術。通過學習這個系統的實現方法與相關的理論，讀者可快速掌握分布式系統的理論並設計自己的分布式系統。
《大規模分布式系統架構與設計實戰》從分布式計算的基本概念開始，解剖了眾多流行概念的本質，深入講解分布式系統的基本原理與實現方式，包括master-slave結構、消息中樞模式、網狀直接交互模式、並行結合串行模式等，以及fourinone系統的架構、實現分布式功能的示例。接下來詳細介紹分布式協調、分布式緩存、消息隊列、分布式文件系統、分布式作業調度平台的設計與實現方法，不僅包括詳細的架構原理、算法，還給出了實現步驟、核心api、實現代碼。隨書附帶的光盤包括書中示例代碼以及fourinone系統源代碼。
目錄
《大規模分布式系統架構與設計實戰》
前 言
第1章 概述 1
1.1 分布式計算、並行計算、雲計算概述 1
1.2 分布式產品hadoop、zookeeper、hbase概述 6
1.3 fourinone的產生背景 12
第2章 分布式並行計算的原理與實踐 14
2.1 分布式並行計算模式 14
2.1.1 最初想到的master-slave結構 14
2.1.2 “包工頭-職介所-手工倉庫-工人”模式 15
2.1.3 基於消息中樞的計算模式 17
2.1.4 基於網狀直接交互的計算模式 18
2.1.5 並行結合串行模式 22
2.1.6 包工頭內部批量多階段處理模式 23
2.1.7 計算集群模式和兼容遺留計算系統 24
2.1.8 工人計算的服務化模式 26
2.2 跟hadoop的區別 28
2.3 關於分布式的一些概念與產品 30
2.4 配置文件和核心api介紹 35
2.5 實踐與應用 36
2.5.1 一個簡單的示例 36
2.5.2 工頭工人計算模式更完整的示例 39
2.5.3 工人合並互相say hello的示例 44
2.5.4 實現hadoop經典實例word count 48
2.5.5 分布式多機部署的示例 52
2.5.6 分布式計算自動部署的示例 53
2.5.7 計算過程中的故障和容災處理 57
2.5.8 計算過程中的相關時間屬性設置 60
2.5.9 如何在一台計算機上一次性啟動多個進程 63
2.5.10 如何調用c/c++程序實現 68
2.5.11 如何中止工人計算和超時中止 68
2.5.12 使用並行計算大幅提升遞歸算法效率 73
2.5.13 使用並行計算求圓周率π 81
2.5.14 從賭錢游戲看pagerank算法 86
2.5.15 使用並行計算實現上億排序 96
2.5.16 工人服務化模式應用示例 104
2.6 實時流計算 107
第3章 分布式協調的實現 111
3.1 協調架構原理簡介 111
3.2 核心api 113
3.3 權限機制 115
3.4 相對於zookeeper的區別 116
3.5 與paxos算法的區別 117
3.6 實踐與應用 119
3.6.1 如何實現公共配置管理 119
3.6.2 如何實現分布式鎖 126
3.6.3 如何實現集群管理 129
3.6.4 多節點權限操作示例 134
3.6.5 領導者選舉相關屬性設置 137
第4章 分布式緩存的實現 139
4.1 小型網站或企業應用的緩存實現架構 139
4.2 大型分布式緩存系統實現過程 140
4.3 一致性哈希算法的原理、改進和實現 147
4.4 解決任意擴容的問題 152
4.5 解決擴容后數據均勻的問題 153
4.6 分布式session的架構設計和實現 154
4.7 緩存容量的相關屬性設置 156
4.8 緩存清空的相關屬性設置 158
第5章 消息隊列的實現 162
5.1 閑話中間件與mq 162
5.2 jms的兩種經典模式 163
5.3 如何實現發送接收的隊列模式 164
5.4 如何實現主題訂閱模式 168
第6章 分布式文件系統的實現 173
6.1 fttp架構原理解析 174
6.2 搭建配置fttpadapter環境 177
6.3 訪問集群文件根目錄 179
6.4 訪問和操作遠程文件 181
6.5 集群內文件復制和並行復制 184
6.6 讀寫遠程文件 187
6.7 解析遠程文件 189
6.8 並行讀寫遠程文件 191
6.9 批量並行讀寫遠程文件和事務補償處理 194
6.10 如何進行整型讀寫 198
6.11 基於整型讀寫的上億排序 205
第7章 分布式作業調度平台的實現 219
7.1 調度平台的設計與實現 219
7.2 資源隔離的實現 224
7.3 資源調度算法 226
7.4 其他作業調度平台簡介 227
7.4.1 其他mpi作業資源調度技術 227
7.4.2 mesos和yarn簡介 229