Linux中hadoop 單機_偽分布_安裝與配置


步驟一:創建 hadoop 用戶,並為 hadoop 用戶授權

(1) 在一個新的Linux系統CentOS-7-x86_64-DVD-1708.iso中,開始用戶是root不是hadoop用戶是,那么需要增加一名為Hadoop的用戶。執行下面命令查看hadoop用戶是否存在。

$cat   /etc/passwd |grep  hadoop

(2) 如果 hadoop 用戶不存在則創建 hadoop 用戶,則繼續執行(3),如果 hadoop 用戶存在則執行步驟(4)。

(3) 創建用戶 hadoop。(若系統沒有sudo此命令,則 yum install net-tools 安裝)

$sudo useradd -m hadoop -s /bin/bash

(4)設置密碼為 hadoop(密碼不回顯)

$sudo passwd hadoop

(5)為 hadoop 用戶授予 sudo 權限。(為hadoop用戶授權會出現錯誤:hadoop is not in the sudoers file. This incident will be reported. :解決方法點擊此鏈接:https://blog.csdn.net/haijiege/article/details/79630187

1.切換到root用戶下,怎么切換就不用說了吧,不會的自己百度去.

2.添加sudo文件的寫權限,命令是:chmod u+w /etc/sudoers

3.編輯sudoers文件vi /etc/sudoers找到這行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (這里的xxx是你的用戶名)ps:這里說下你可以sudoers添加下面四行中任意一條

youuser            ALL=(ALL)              ALL

%youuser           ALL=(ALL)               ALL

youuser            ALL=(ALL)            NOPASSWD: ALL

%youuser           ALL=(ALL)                NOPASSWD: ALL

第一行:允許用戶youuser執行sudo命令(需要輸入密碼).第二行:允許用戶組youuser里面的用戶執行sudo命令(需要輸入密碼).

第三行:允許用戶youuser執行sudo命令,並且在執行的時候不輸入密碼.第四行:允許用戶組youuser里面的用戶執行sudo命令,

並且在執行的時候不輸入密碼.4.撤銷sudoers文件寫權限,命令:chmod u-w /etc/sudoers這樣普通用戶就可以使用sudo了.                                  

               
————————————————
版權聲明:本文為CSDN博主「haijiege」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/haijiege/article/details/79630187

$sudo adduser hadoop sudo

(6)重啟計算機,以 hadoop 用戶登錄。

$reboot

步驟二:修改集群節點名稱,添加域名映射。

(1)將節點名稱寫入/etc/hostname 文件中。

$sudo vi  /etc/hostname

(2)將節點的 IP 地址與主機名寫入/etc/hosts 中,完成域名映射的添加。

$sudo vi /etc/hosts 

例如: 172.17.67.10 master

如圖配置完成:

 

 

 

(3)重新啟動計算機。

$reboot

步驟三:SSH 登錄權限設置

(1)在節點上安裝 SSH。

查看ssh的安裝包 :rpm -qa | grep ssh
查看ssh是否安裝成功 :ps -ef | grep ssh

 

下圖安裝好的:

 

 

 

 

 

 未安裝則輸入命令:

$sudo yum install openssh-server

(2)在節點上生成公鑰和私鑰。

$ssh-keygen –t rsa (命令輸入后等待自動完成)

在~/目錄下自動創建目錄.ssh,內部創建 id_rsa(私鑰)、id_rsa.pub(公鑰)、 authorized_keys 文件。

(3)將節點的公鑰發送到 .ssh/authorized_keys 文件中。

$cd ~/.ssh

$ssh-copy-id -i id_rsa.pub hadoop@***

注意:分別用集群中各個節點名稱(包括自身)替換***。 

(4)測試 SSH 免密碼登錄。(暫時還需輸入密碼登錄)

$ssh localhost

chmod 600 ~/.ssh/authorized_keys

 

 

測試成功后,可以執行 exit 命令結束遠程登錄。

步驟四:安裝 Java 環境

(1)在目錄/usr/lib 中創建 jvm 目錄,並將目錄所有者修改為 hadoop 用戶。

$sudo mkdir /usr/lib/jvm/

$sudo chown –R hadoop:hadoop /usr/lib/jvm

(2)使用tar命令解壓安裝jdk-8u121-linux-x64.tar.gz文件到目錄/usr/lib/jvm。

$cd ~/  (進入jdk安裝包目錄進行解壓)

$sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/lib/jvm/

(3)配置 JDK 環境變量,使其生效。

①使用 vi 命令打開用戶的配置文件.bashrc。

$sudo vi ~/.bashrc

②在文件中加入下列內容:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

③使環境變量生效,並驗證 JDK 是否安裝成功。

$ source ~/.bashrc #生效環境變量

$ java –version #如果打印出 java 版本信息,則成功

 

 步驟五:偽分布式集群安裝配置

(1)使用 tar 命令解壓安裝 hadoop-2.7.3.tar.gz 文件到目錄/usr/local,並重命 名為 hadoop。

$cd ~/ #進入 hadoop-2.7.3.tar.gz 文件所在目錄

$sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

$cd /usr/local #進入/usr/local 查看解壓結果

$ls #解壓后目錄名為 hadoop-2.7.3

$sudo mv ./hadoop-2.7.3 ./hadoop #為簡化操作,文件夾重命名為 hadoop

(2)將目錄/usr/local/hadoop 的所有者修改為 hadoop 用戶。

$ sudo chown -R hadoop:hadoop /usr/local/hadoop

(3)修改環境變量,並使其生效。

①修改環境變量

$sudo vi ~/.bashrc #打開用戶配置文件 在用戶配置文件.bashrc 中寫入下列 hadoop 配置信息。

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_HOME=/usr/local/hadoop

export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop

② 生效環境變量 $source ~/.bashrc

(4)配置 Hadoop 文件 偽分布環境中,偽分布式需要修改下列 4 個配置文件。

$cd /usr/local/hadoop/etc/hadoop

$vi filename(文件)

①hadoop-env.sh 中配置 JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121

②yarn-env.sh 中配置 JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121

③修改 core-site.xml 文件。

 

 

 

 

④修改 hdfs-site.xml 文件。

 

 

 

 

 

(5)格式化 NameNode 節點。

$cd /usr/local/hadoop

$bin/hdfs namenode  -format

注意:若格式化之后,重新修改了配置文件,那么需要重新格式化操作,在 此之前需要刪除 tmp、dfs、logs 文件夾。

(8)啟動 Hadoop 服務

$cd /usr/local/hadoop

$sbin/start-dfs.sh

$sbin/start-yarn.sh

(9)驗證是否安裝成功。

① 執行 jps 命令查看服務

$sbin/start-all.sh 命令可用於啟動整個hadoop服務

 

 

更詳細轉載:https://www.cnblogs.com/hopelee/p/7049819.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM