hadoop+hive+spark搭建（一）

1.准備三台虛擬機

2.hadoop+hive+spark＋java軟件包

傳送門：Hadoop官網　　Hive官網　　Spark官網

     

一、修改主機名,hosts文件

　　主機名修改

　　　　　hostnamectl set-hostname ***

　　hosts文件修改

　　　　　vi /etc/hosts　　　　寫入以下內容

　　　　　master 192.168.0.110

　　　　　slaver1 192.168.0.111

　　　　　slaver2 192.168.0.112

　　SSH免登陸

　　　　　運行命令 ssh-keygen -t rsa生成秘鑰

　　　　　　

　　　　

　　　　　master節點運行命令 cat id_rsa.pub > authorized_keys

　　　　　　　　　　　　　　　ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys

　　　　　　　　　　　　　　　ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys

　　　　　　　　　　　　　　　scp authorized_key root@slaver1:~/.ssh/

　　　　　　　　　　　　　　　scp authorized_key root@slaver2:~/.ssh/

　　　　　vi /etc/ssh/sshd刪掉以下注釋

　　　　　　

　　　　　　　　

　　　　執行完如上操作即可免密登錄

　　　　　　

 

二、java環境配置

　　上傳java軟件包到各節點並解壓縮java軟件包到/usr/local/目錄下重命名為

　　　　

　　配置java環境變量

　　　編輯/etc/profile文件，並追加

　　　　　　export JAVA_HOME=/usr/local/jdk1.8.0

　　　　　　export PATH=$JAVA_HOME/bin:$PATH

　　　運行source /etc/profile命令　

 　測試java環境變量

　　　　運行java -version命令

　　　　

　　　　成功安裝並配置java

 三、Hadoop環境搭建

　　上傳hadoop軟件包並解壓縮hadoop軟件包到/usr/local/目錄下重命名hadoop

  　　　　

　　編輯/etc/profile文件，並追加

　　　　　　　export HADOOP_HOME=/usr/local/hadoop

　　　　　　　export PATH=$HADOOP_HOME/bin:$PATH

　　　　運行source /etc/profile命令

　　修改配置文件hadoop目錄下etc/hadoop/hadoop-env.sh如下

　　　　

 

　　修改配置文件hadoop目錄下etc/hadoop/core-site.xml如下

　　　　　　

 

　　修改配置文件hadoop目錄下etc/hadoop/hdfs-site.xml如下

 　　　　　　

 

　　修改配置文件hadoop目錄下etc/hadoop/yarn-site.xml如下

　　　　　　

 

　　修改配置文件hadoop目錄下etc/hadoop/mapred-site.xml如下

 　　　　　　

 

　　編輯hadoop目錄下etc/hadoop/master

　　　　　　

 

　　編輯hadoop目錄下etc/hadoop/slaves

　　　　

　　格式化HDFS

　　　　　　master節點運行命令hdfs namenode -format

　　master節點運行hadoop目錄下sbin/start.all.sh啟動所有程序

　　　　　　

瀏覽器下輸入192.168.0.110:50070即可打開web界面hadoop 

　　　

 

在master和slave節點上輸入命令jps

　　　　　

 

 

 

hadoop搭建成功