【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-上


0. 環境說明及軟件准備

  對於大多數學習者而言,是不具備在真實的分布式環境中進行學習和實驗的條件,因此這里我也是利用虛擬機軟件搭建一個偽分布式的Hadoop平台。當然,如果有多台閑置PC,則可以搭建一個真實分布式環境,方法是一樣的。

  為了保證愉快的學習心情,建議使用更高配置的電腦,不然電腦的卡慢和死機會讓人瘋掉的。

  以我的筆記本配置為例,Hadoop在下述環境下可以暢快的奔跑,毫無壓力,可供參考:

1. VMware workstation安裝

  VMware安裝之前首先要檢查物理機是否支持虛擬化,請確保使用的物理機打開虛擬化功能(Inter VT或AMD V),如不確認可使用LeoMoon CPU-V檢測,如果檢測結果如下圖,則表示CPU及操作系統都支持虛擬化,如果未通過,需要在BIOS中啟用Intel虛擬技術,否則無法正常使用Vmware workstation。

  安裝虛擬機軟件VMware workstation,安裝過程不再贅述,直接下一步至完成即可。

2. Xmanager Enterprise 5安裝

  下載並安裝Xmanager Enterprise 5,安裝過程也是一路的下一步。完成安裝后打開桌面的快捷方式即可看到Xmanager所包含的一系列產品,這里我們主要使用Xftp和Xshell,Xftp能夠完成Windows和linux之間的文件傳輸。Xshell能夠提供Windows SSH訪問,能輕松和安全地從Windows PC上訪問Linux主機。

3. CentOS安裝

  首先,需要在Vmware中創建虛擬機,然后再為虛擬機安裝CentOS操作系統。步驟如下:

  a.  打開Vmware,在軟件工作區點擊創建新的虛擬機。

  b.  隨后便彈出新建虛擬機向導,選擇【典型】下一步》【稍后安裝操作系統】下一步》進入選擇操作系統界面。

  c.  確定操作系統下一步即進入虛擬機命名和虛擬機位置配置界面。

  d.  下一步進入磁盤容量分配。

  e.  下一步》【自定義硬件】,進入硬件配置界面。CPU和內存可根據自己計算機的配置靈活選擇。

  f.  光驅選擇【使用ISO映像文件】,點擊【瀏覽】選擇已下載的CentOS操作系統映像文件,以便下面安裝操作系統。

  g.  【網絡適配器】選項選擇【僅主機模式】。

  配置完畢,點擊完成按鈕即可成功創建虛擬機。啟動虛擬機即可為其安裝CentOS操作系統,簡要過程如下。

  a.   在WM中啟動虛擬機,稍等一會兒即可進入語言選擇界面,默認是英語,可選擇中文。

  b、  安裝是默認是最小安裝,可選擇圖形界面(即帶GUI的服務器)。

  c、  為ROOT設置密碼,等待安裝完成后重啟即可。

4. Linux虛擬機網絡配置

  首先編輯Vmware的網絡模式,在Vmware菜單欄中選擇【編輯】>>【虛擬網絡編輯器】,打開虛擬網絡編輯器對話框。

  然后啟動虛擬機,進入CentOS登陸界面,使用root登陸主機,在桌面點擊右鍵打開一個控制台。

  輸入ifconfig查看網卡信息。一塊物理網卡可以有多個配置文件,但只能啟用其中一個,可以看到ens或eno開頭的網卡。

  重啟可配置進入命令界面,不進入圖形界面,這樣可以有效緩解物理機的資源壓力,能提高運行速度。

5. Xshell工具使用

  完成IP配置后,能夠在物理機上ping通linux主機IP,即可使用Xshell登陸至linux主機,這樣能夠大幅提高效率。首先打開Xshell,進入新建會話對話框,配置連接名稱和linux主機的IP,然后在用戶身份驗證界面輸入賬號密碼,即可完成連接配置。然后連接該會話,如彈出安全警告,選擇【接受並保存】即可。

6. Linux節點配置

    【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下

7. JDK安裝配置

    【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下

8. Hadoop安裝配置

    【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下

9. Hadoop啟動

    【HADOOP】| 環境搭建:從零開始搭建hadoop大數據平台(單機/偽分布式)-下

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM