現在做的項目是個大數據報表系統，剛開始的時候，負責做Java方面的接口（項目前端為獨立的Java web 系統，后端也是Java web的系統，前后端系統通過接口傳輸數據），后來領導覺得大家需要多元化發展，要全面發展。就讓大數據組的同事，給我們報表組的同事培訓了下大數據方面的知識，主要是hive的。就這樣就開啟了新的篇章，雖然比較腹議，自此大數據離線數據計算的工作就交給我們報表組了，我們還是欣然的接受了，我自己還是相當想向大數據方面發展的。
自此，開啟了大數據開發的篇章。
---------------沉默的分割線-----------------------------
學習Hadoop開發，當然少不了搭建Hadoop集群了。
最方便的搭建環境，當然是在自己電腦上安裝虛擬機（土豪請出門右轉）
下面進入正題。
本着最新、最快、最強的原則，我選擇了centos7，jdk8，hadoop3 作為我測試的平台。
不解釋，上下載鏈接：
centos7 ： https://www.centos.org/download/
centos 各個版本簡介：
DVD ISO ： 標准版（一般選擇）
Everything ISO ： 對標准版進行補充，集成所有軟件
Minimal ISO ： 最小版（高手選擇）
jdk8 ： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
進oracle的官網下載就是了
hadoop3 ：http://hadoop.apache.org/releases.html
具體選擇如下：
centos 7 DVD，選一個鏡像下載即可
jdk 很早就有使用過了，沒有下在，使用的版本是 ： jdk-8u91-linux-x64
hadoop版本： 3.0.1 （安裝的時候，3.1.0 還未出來）
系統鏡像下載完成后即可安裝虛擬機。
---------------------以下為正文--------------------------
vmware：
1、創建虛擬機
2、選擇典型安裝，下一步
3、選擇第二項 Installer disc image file(iso) : 選擇下載的系統鏡像，下一步
4、命名虛擬機，這里以虛擬機將要使用的主機名命名，選擇安裝路徑，下一步
說明：我的C盤是個256G的ssd，所以虛擬機直接安裝在了C盤，請使具體情況選擇安裝位置，安裝后可以移動。
5、配置虛擬機硬盤大小，文件是否使用多文件。選擇20G，單文件存儲，下一步
20G的硬盤大小，開發足夠使用，要是需要很大空間，視具體情況調整。20G足夠，大點也可以。
我的主節點給了40G，其他節點都是20G。
如下圖：安裝完成后
40G的還有32G剩余空間
20G的還有13G剩余空間
6、點擊“customize hardware..”，修改硬盤配置，點擊完成。
修改內存：選擇合適的內存（1G足夠，越多越好，虛擬機內存加起來不能超過物理機的一半），我的內存比較大，主節點選的2G，其他節點都是1G
修改網絡：選擇橋接，復制物理連接
7，選擇 “Install CentOS 7” 開始安裝。
8、選擇語言 "English " "English (United States)" ，點擊 “Continue”
9、選擇硬盤分區，保持默認，點擊 “Done” ，返回前頁，點擊右下角 “Begin Installation” ,開始安裝
10、設置root用戶密碼，密碼簡單，點擊兩次“Done” 直接設置。坐等系統安裝完成（我的機器幾分鍾就完成了）。
11、安裝完成后，點擊右下角“Reboot”，重啟電腦。
12、使用root 登錄系統
13、修改主機名：
vi /etc/hostname
刪除文件里面的內容，直接數據主機名
結果如下：
14、修改IP為靜態IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33 文件后面可能不一樣
修改前，修改后如下，ip視具體情況定
我的主機ip地址為：192.168.1.107
venn05虛擬機ip地址為： 192.168.1.5
venn06虛擬機ip地址為： 192.168.1.6
依次類推
15、重啟網絡，查看ip，ping 百度（ip： 119.75.217.109）
service network restart
16、關閉防火牆
停止firewall ： systemctl stop firewalld.service
禁止firewall開機啟動 ： systemctl disable firewalld.service
注：centos 使用 firewall 作為默認防火牆，不是iptables
reboot 重啟電腦，安裝完成，其他節點虛擬機安裝相同。
至此虛擬機安裝完成。
集群搭建完成后，我發現vmware 有個“clone” 的功能，可以克隆虛擬機，不用重復安裝。
1、克隆，關閉虛擬機，右鍵虛擬機，選擇“manage”，選擇“clone”，
2、下一步
3、下一步
4、選擇“create a full clone” 下一步
5、命名虛擬機，修改安裝位置，下一步
6、點擊“close” ，完成克隆。
克隆完成的虛擬機注意修改主機名和ip地址。