設置虛擬機DNS
主機網絡配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
IPADDR=192.168.56.110
NETMASK=255.255.255.0
GATEWAY=192.168.56.10
ONBOOT=yes
vi /etc/NetworkManager/NetworkManager.conf
添加一行內容dns=none
然后重啟網絡管理：
systemctl restart NetworkManager.service
修改域名解析配置文件 vi /etc/resolv.conf
nameserver 192.168.20.3 #這里是修改DNS
最后重啟網絡service network restart
ping www.baidu.com可ping通即配置成功。
安裝Xshell連接軟件
關閉防火牆
systemctl status firewalld.service
查看防火牆狀態
systemctl stop firewalld.service
該命令輸入和執行后，終端不會有輸出。要檢查執行是否成功，可以再次使用狀態檢查命令。
systemctl disable firewalld.service
該命令使防火牆在下次啟動計算機的時候取消防火牆服務。
服務器系統設置
設置主機名
vi /etc/sysconfig/network
添加 NETWORKING = yes
HOSTNAME=MJ1
如果只修改 network 文件，下次重啟虛擬機時，會發現修改后的名字又回到原來的 localhost 去了。原來上面只修改了瞬態（Transient）主機名，並沒有修改靜態（Static）主機名。因此，仍然要進行修改，這一次輸入
“ vi /etc/hostname”
命令在編輯器中輸入如下代碼：MJ1，保存並退出，回到終端主窗口。
請重復上述操作方法，將其他虛擬機的主機名也從缺省的 localhost 修改為對應的 slave0 和 slave1。
服務器系統設置
一，集群機器時間同步
安裝ntpdate，命令：yum install ntpdate
網絡同步時間，命令：ntpdate cn.pool.ntp.org
二，配置IP主機名映射
設置主機名IP映射，命令：vi /etc/hosts
192.168.20.20 MJ1
192.168.20.21 MJ2
192.168.20.22 MJ3
三，復制虛擬機注意虛擬機ip地址
四，配置ssh免密登錄（本身機器訪問本身也要免密登錄，配置機器到自己、其他機器的免密登錄）
1、生成免密登錄秘鑰
命令：ssh-keygen - t rsa (四個回車)
2、秘鑰生成之后會產生id_rsa（私鑰），id_rsa.pub(公鑰)，將公鑰拷貝到要免密登錄的機器上面去。
首先自己免密碼登陸：把自己的公鑰文件追加到本地認證文件中去
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
JDK環境准備
1、jdk的卸載和安裝
安裝yum install lrzsz
我們要安裝標准的jdk，如果不是標准的jdk，比如openJDK要卸載。
卸載命令：rpm –qa | grep java 查找安裝包
rpm –e --nodeps 包名
2、創建文件夾用來放置安裝的軟件如jdk,zookeeper
命令：mkdir /use/java
3、上傳jdk包：rz拖拽
4、安裝命令 tar zxvf 包名
5、修改設置全局變量3台機器都要添加：
vi /etc/profile 加入下面內容
export JAVA_HOME=/usr/lcal/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.😒{JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
6、重新加載profile文件:source /etc/profile
①使用javac命令，不會出現command not found錯誤
②、使用java -version，出現版本為java version "1.8.0_131"
③、echo $PATH，看看自己剛剛設置的的環境變量配置是否都正確
7，上傳完后，在master主機進入/opt/hadoop目錄，執行解壓縮命令“tar -zxvf hadoop-2.7.5.tar.gz”
配置env文件
修改”/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh”文件，找到“export JAVA_HOME”這行，配置jdk路徑。如圖
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
配置Hadoop 的核心組件文件是 core-site.xml
添加這個臨時文件保存目錄 首先你得創建這個目錄
<property>
<name>fs.defaultFS</name>
<value>hdfs://MJ1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoopdata</value>
</property>
配置Hadoop 的文件系統配置文件是 hdfs-site.xml
這里可以配置主機網站端口可以通過瀏覽器來訪問web監控頁面
上傳和下載文件端口是9000
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
配置slaves（配置masters）
拷貝 到 MJ2 MJ3
scp -r hadoop-2.7.6/ root@MJ2:/usr/local/
配置hadoop環境變量
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后把hadoop環境變量傳給其余幾台
scp /etc/profile root@MJ3:/etc/
重新啟動環境變量
source /etc/profile
格式化你的主機不能在奴隸機上用
hdfs namenode -format
啟動hdfs
start -dfs.sh
到這里已經裝好HDFS了可以輸入網址查看 http://192.168.20.20:50070
下面裝yarn
重命名為mapred-site.xml.template
mv mapred-site.xml.template mapred-site.xml
修改
修改
yarn-site.xml
添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>MJ1:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>MJ1:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>MJ1:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>MJ1:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>MJ:18088</value>
</property>
指定mr運行在yarn上，默認是local，本地模仿一個資源環境
把修改過的兩個文件分別覆蓋自己得奴隸機
啟動yarn
ResourceManage：http://192.168.247.11:8088 （Yarn管理界面）查看