步驟一:創建 hadoop 用戶,並為 hadoop 用戶授權
(1) 在一個新的Linux系統CentOS-7-x86_64-DVD-1708.iso中,開始用戶是root不是hadoop用戶是,那么需要增加一名為Hadoop的用戶。執行下面命令查看hadoop用戶是否存在。
$cat /etc/passwd |grep hadoop
(2) 如果 hadoop 用戶不存在則創建 hadoop 用戶,則繼續執行(3),如果 hadoop 用戶存在則執行步驟(4)。
(3) 創建用戶 hadoop。(若系統沒有sudo此命令,則 yum install net-tools 安裝)
$sudo useradd -m hadoop -s /bin/bash
(4)設置密碼為 hadoop(密碼不回顯)
$sudo passwd hadoop
(5)為 hadoop 用戶授予 sudo 權限。(為hadoop用戶授權會出現錯誤:hadoop is not in the sudoers file. This incident will be reported. :解決方法點擊此鏈接:https://blog.csdn.net/haijiege/article/details/79630187 )
1.切換到root用戶下,怎么切換就不用說了吧,不會的自己百度去.
2.添加sudo文件的寫權限,命令是:chmod u+w /etc/sudoers
3.編輯sudoers文件vi /etc/sudoers找到這行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (這里的xxx是你的用戶名)ps:這里說下你可以sudoers添加下面四行中任意一條
youuser ALL=(ALL) ALL
%youuser ALL=(ALL) ALL
youuser ALL=(ALL) NOPASSWD: ALL
%youuser ALL=(ALL) NOPASSWD: ALL
第一行:允許用戶youuser執行sudo命令(需要輸入密碼).第二行:允許用戶組youuser里面的用戶執行sudo命令(需要輸入密碼).
第三行:允許用戶youuser執行sudo命令,並且在執行的時候不輸入密碼.第四行:允許用戶組youuser里面的用戶執行sudo命令,
並且在執行的時候不輸入密碼.4.撤銷sudoers文件寫權限,命令:chmod u-w /etc/sudoers這樣普通用戶就可以使用sudo了.
————————————————
版權聲明:本文為CSDN博主「haijiege」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/haijiege/article/details/79630187
$sudo adduser hadoop sudo
(6)重啟計算機,以 hadoop 用戶登錄。
$reboot
步驟二:修改集群節點名稱,添加域名映射。
(1)將節點名稱寫入/etc/hostname 文件中。
$sudo vi /etc/hostname
(2)將節點的 IP 地址與主機名寫入/etc/hosts 中,完成域名映射的添加。
$sudo vi /etc/hosts
例如: 172.17.67.10 master
如圖配置完成:
(3)重新啟動計算機。
$reboot
步驟三:SSH 登錄權限設置
(1)在節點上安裝 SSH。
查看ssh的安裝包 :rpm -qa | grep ssh
查看ssh是否安裝成功 :ps -ef | grep ssh
下圖安裝好的:
未安裝則輸入命令:
$sudo yum install openssh-server
(2)在節點上生成公鑰和私鑰。
$ssh-keygen –t rsa (命令輸入后等待自動完成)
在~/目錄下自動創建目錄.ssh,內部創建 id_rsa(私鑰)、id_rsa.pub(公鑰)、 authorized_keys 文件。
(3)將節點的公鑰發送到 .ssh/authorized_keys 文件中。
$cd ~/.ssh
$ssh-copy-id -i id_rsa.pub hadoop@***
注意:分別用集群中各個節點名稱(包括自身)替換***。
(4)測試 SSH 免密碼登錄。(暫時還需輸入密碼登錄)
$ssh localhost
chmod 600 ~/.ssh/authorized_keys
測試成功后,可以執行 exit 命令結束遠程登錄。
步驟四:安裝 Java 環境
(1)在目錄/usr/lib 中創建 jvm 目錄,並將目錄所有者修改為 hadoop 用戶。
$sudo mkdir /usr/lib/jvm/
$sudo chown –R hadoop:hadoop /usr/lib/jvm
(2)使用tar命令解壓安裝jdk-8u121-linux-x64.tar.gz文件到目錄/usr/lib/jvm。
$cd ~/ (進入jdk安裝包目錄進行解壓)
$sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/lib/jvm/
(3)配置 JDK 環境變量,使其生效。
①使用 vi 命令打開用戶的配置文件.bashrc。
$sudo vi ~/.bashrc
②在文件中加入下列內容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
③使環境變量生效,並驗證 JDK 是否安裝成功。
$ source ~/.bashrc #生效環境變量
$ java –version #如果打印出 java 版本信息,則成功
步驟五:偽分布式集群安裝配置
(1)使用 tar 命令解壓安裝 hadoop-2.7.3.tar.gz 文件到目錄/usr/local,並重命 名為 hadoop。
$cd ~/ #進入 hadoop-2.7.3.tar.gz 文件所在目錄
$sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local
$cd /usr/local #進入/usr/local 查看解壓結果
$ls #解壓后目錄名為 hadoop-2.7.3
$sudo mv ./hadoop-2.7.3 ./hadoop #為簡化操作,文件夾重命名為 hadoop
(2)將目錄/usr/local/hadoop 的所有者修改為 hadoop 用戶。
$ sudo chown -R hadoop:hadoop /usr/local/hadoop
(3)修改環境變量,並使其生效。
①修改環境變量
$sudo vi ~/.bashrc #打開用戶配置文件 在用戶配置文件.bashrc 中寫入下列 hadoop 配置信息。
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_HOME=/usr/local/hadoop
export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop
② 生效環境變量 $source ~/.bashrc
(4)配置 Hadoop 文件 偽分布環境中,偽分布式需要修改下列 4 個配置文件。
$cd /usr/local/hadoop/etc/hadoop
$vi filename(文件)
①hadoop-env.sh 中配置 JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
②yarn-env.sh 中配置 JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
③修改 core-site.xml 文件。
④修改 hdfs-site.xml 文件。
(5)格式化 NameNode 節點。
$cd /usr/local/hadoop
$bin/hdfs namenode -format
注意:若格式化之后,重新修改了配置文件,那么需要重新格式化操作,在 此之前需要刪除 tmp、dfs、logs 文件夾。
(8)啟動 Hadoop 服務
$cd /usr/local/hadoop
$sbin/start-dfs.sh
$sbin/start-yarn.sh
(9)驗證是否安裝成功。
① 執行 jps 命令查看服務
$sbin/start-all.sh 命令可用於啟動整個hadoop服務
更詳細轉載:https://www.cnblogs.com/hopelee/p/7049819.html