2大數據處理架構Hadoop

2.1概述

2.1.1Hadoop簡介

• Hadoop是Apache軟件基金會旗下的一個開源分布式計算平台，為用戶提供了系統底層細節透明的分布式基礎架構
• Hadoop是基於Java語言開發的，具有很好的跨平台特性，並且可以部署在廉價的計算機集群中
• Hadoop的核心是分布式文件系統HDFS（Hadoop Distributed File System）和MapReduce
• Hadoop被公認為行業大數據標准開源軟件，在分布式環境下提供了海量數據的處理能力
• 幾乎所有主流廠商都圍繞Hadoop提供開發工具、開源軟件、商業化工具和技術服務，如谷歌、雅虎、微軟、思科、淘寶等，都支持Hadoop

2.1.2Hadoop發展簡史

 

 

2.1.3Hadoop的特性

 

   

2.1.4Hadoop的應用現狀

 

 

2.2Hadoop項目結構

 

 

 

2.3Hadoop的安裝與使用

2.3.1Hadoop安裝之前的預備知識

安裝參考： http://dblab.xmu.edu.cn/blog/285/

 

 

2.3.2安裝Linux虛擬機

2.3.3安裝雙操作系統

2.3.4Hadoop的安裝與使用

參考：http://dblab.xmu.edu.cn/blog/install-hadoop/

• 創建hadoop用戶

• SSH登陸權限設置

 

 

• 安裝Java環境

• 單機安裝配置

• 偽分布式安裝配置

 

2.4Hadoop集群的部署與使用

2.4.1集群節點類型

  

2.4.2集群硬件配置

 

2.4.3集群規模

 

2.4.4集群網絡拓撲

 

 

  

2.4.5集群的建立與安裝

 

   

2.4.6集群基准測試

 

    

2.4.7在雲計算環境中使用Hadoop