0. 環境說明及軟件准備
對於大多數學習者而言,是不具備在真實的分布式環境中進行學習和實驗的條件,因此這里我也是利用虛擬機軟件搭建一個偽分布式的Hadoop平台。當然,如果有多台閑置PC,則可以搭建一個真實分布式環境,方法是一樣的。
為了保證愉快的學習心情,建議使用更高配置的電腦,不然電腦的卡慢和死機會讓人瘋掉的。
以我的筆記本配置為例,Hadoop在下述環境下可以暢快的奔跑,毫無壓力,可供參考:
1. VMware workstation安裝
VMware安裝之前首先要檢查物理機是否支持虛擬化,請確保使用的物理機打開虛擬化功能(Inter VT或AMD V),如不確認可使用LeoMoon CPU-V檢測,如果檢測結果如下圖,則表示CPU及操作系統都支持虛擬化,如果未通過,需要在BIOS中啟用Intel虛擬技術,否則無法正常使用Vmware workstation。
安裝虛擬機軟件VMware workstation,安裝過程不再贅述,直接下一步至完成即可。
2. Xmanager Enterprise 5安裝
下載並安裝Xmanager Enterprise 5,安裝過程也是一路的下一步。完成安裝后打開桌面的快捷方式即可看到Xmanager所包含的一系列產品,這里我們主要使用Xftp和Xshell,Xftp能夠完成Windows和linux之間的文件傳輸。Xshell能夠提供Windows SSH訪問,能輕松和安全地從Windows PC上訪問Linux主機。
3. CentOS安裝
首先,需要在Vmware中創建虛擬機,然后再為虛擬機安裝CentOS操作系統。步驟如下:
a. 打開Vmware,在軟件工作區點擊創建新的虛擬機。
b. 隨后便彈出新建虛擬機向導,選擇【典型】下一步》【稍后安裝操作系統】下一步》進入選擇操作系統界面。
c. 確定操作系統下一步即進入虛擬機命名和虛擬機位置配置界面。
d. 下一步進入磁盤容量分配。
e. 下一步》【自定義硬件】,進入硬件配置界面。CPU和內存可根據自己計算機的配置靈活選擇。
f. 光驅選擇【使用ISO映像文件】,點擊【瀏覽】選擇已下載的CentOS操作系統映像文件,以便下面安裝操作系統。
g. 【網絡適配器】選項選擇【僅主機模式】。
配置完畢,點擊完成按鈕即可成功創建虛擬機。啟動虛擬機即可為其安裝CentOS操作系統,簡要過程如下。
a. 在WM中啟動虛擬機,稍等一會兒即可進入語言選擇界面,默認是英語,可選擇中文。
b、 安裝是默認是最小安裝,可選擇圖形界面(即帶GUI的服務器)。
c、 為ROOT設置密碼,等待安裝完成后重啟即可。
4. Linux虛擬機網絡配置
首先編輯Vmware的網絡模式,在Vmware菜單欄中選擇【編輯】>>【虛擬網絡編輯器】,打開虛擬網絡編輯器對話框。
然后啟動虛擬機,進入CentOS登陸界面,使用root登陸主機,在桌面點擊右鍵打開一個控制台。
輸入ifconfig查看網卡信息。一塊物理網卡可以有多個配置文件,但只能啟用其中一個,可以看到ens或eno開頭的網卡。
重啟可配置進入命令界面,不進入圖形界面,這樣可以有效緩解物理機的資源壓力,能提高運行速度。
5. Xshell工具使用
完成IP配置后,能夠在物理機上ping通linux主機IP,即可使用Xshell登陸至linux主機,這樣能夠大幅提高效率。首先打開Xshell,進入新建會話對話框,配置連接名稱和linux主機的IP,然后在用戶身份驗證界面輸入賬號密碼,即可完成連接配置。然后連接該會話,如彈出安全警告,選擇【接受並保存】即可。
6. Linux節點配置
【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下
7. JDK安裝配置
【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下
8. Hadoop安裝配置
【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下
9. Hadoop啟動
【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下