Hadoop 安裝與使用
實驗目的
掌握 Hadoop 的偽分布式安裝方法。由於並不具備集群環境，需要在一台 機器上模擬一個小的集群。
實驗准備
1.Windows電腦一台
2.VMware 15虛擬機
3.CentOS 7或者Ubuntu操作系統
4.FileZilla-3.7.3（用於主機與虛機之前傳文件）
5.putty（用於主機登陸虛機）
6.puttygen（用於ssh無密碼登陸，生成公鑰私鑰）
一、Hadoop部署安裝
0.在Ubuntu中查看IP地址時出現"ifconfig命令未找到"，解決方法sudo apt install net-tools即可解決
1.打開FileZilla軟件，主機輸入CentOS的IP地址，用戶名輸入登錄名，密碼輸入登陸密碼，端口輸入22(STP連接)，點擊快速連接如圖所示
2.將hadoop-2.6.0拖入到/usr/lcoal文件夾中，用來做
3.使用解壓命令，解壓hadoop-2.6.0.tar.gz，如果已經在/usr/local里面了可以用命令tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local，如果現在在根目錄或者不在/usr/local目錄下，則必須用絕對路徑
tar -zxvf /usr/local/hadoop-2.6.0.tar.gz -C /usr/local 解壓到的文件名為hadoop-2.6.0
4.進入/usr/local 目錄下，將hadoop-2.6.0改名為1-hadoop，mv /usr/local/hadoop-2.6.0 /usr/local/1-hadoop
二、hadoop配置
1.openjdk開發包安裝
由於hadoop采用Java語言開發，所以要安裝Java開發包
（1）使用jps命令查看是否已經安裝jps
（2）安裝Java開發包
命令yum list|grep openjdk
yum install java-1.7.0-openjdk-devel
2.環境變量配置
（1）編輯環境變量
vi ~/.bashrc
（2）環境變量生效
source ~/.bashrc
（3）查看驗證
echo $JAVA_HOME # 檢驗變量值
java -version（注意小寫和空格）
（4）檢查hadoop是否可用
hadoop version
3.hadoop配置
Hadoop 的配置文件位於 /usr/local/1-hadoop/etc/hadoop/ 中，偽分布式需 要修改 2 個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop 的配置文件 是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現。
a）修改配置文件 修改配置文件 core-site.xml （vi core-site.xml)，修改為下面配置：
同樣的，修改配置文件 hdfs-site.xml：
三、Hadoop的使用
1.啟動Hadoop
1）配置完成后，執行 NameNode 的格式化:
hdfs namenode -format，看到Exiting with status 0即為成功了
2）接着開啟 NameNode 和 DataNode 守護進程。
輸入命令 start-dfs.sh
出現的warning級別提示不用管，就是提示能運行但是完成不完美的意思
此時需要輸入三次密碼，分別用來開啟NameNode,DataNode,SecondNameNode
此時DataNode和NameNode以及SecondNameNode全都啟動
再使用jps命令查看試試
3）成功啟動后，可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。
2、使用 HDFS，創建目錄，上傳文件和下載文件。
首先需要在 HDFS 中創建用戶目錄：
接着將 ./etc/hadoop 中的 xml 文件作為輸入文件復制到分布式文件系統 中，即將 /usr/local/1-hadoop/etc/hadoop 復制到分布式文件系統中的 /xwj/root/input 中。
我們使用的是 root 用戶，並且已創建相應的用戶目錄 /xwj/root ，因此在命令中就可以使用相對路徑如 input，其對應的絕對路徑就 是 /xwj/root/input:
至此，安裝並使用hadoop大功告成！