Hadoop 3.1.2 下載安裝和分布式搭建的准備


官方有詳細文檔:https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html

 

我整個配置用的是ubuntu18.04 + java8 + hadoop3.1.2

首先我們可以創建一個hadoop用戶,使用bash作為shell

 sudo useradd -m hadoop -s /bin/bash 

更改密碼

 sudo passwd hadoop 

給hadoop管理員權限

 sudo adduser hadoop sudo 

 

接下來就登錄在hadoop用戶中操作吧 su hadoop 

 

然后我們配置一下ssh

安裝ssh

 sudo apt install openssh-server 

用 ssh localhost 試試能不能ssh登錄本機,讓后用 exit 登出

如果成攻了,就設置一下免密登錄

 cd ~/.ssh/ 移動到.ssh目錄,如果顯示不存在就ssh登錄本機再試下

 ssh-keygen -t rsa 一直按回車就行

 cat ./id_rsa.pub >> ./authorized_keys 把id_rsa.pub復制到authorized_keys,加入授權

然后就可以ssh登錄本機測試一下能不能免密登錄

 

接下來安裝jdk,我選擇的是java8

jdk有3種裝法,我就介紹最簡單的一種

直接用apt安裝就好

  sudo apt-get install openjdk-8-jdk -C /usr/lib 

然后我們配置一下環境變量

在linux中既可以在.bashrc中也可以在profile中配置

我們選擇在 /etc/profile 中配置,在這里配置會在一開機就對全部用戶生效,如果選擇在 ~/.bashrc 配置,就是當前用戶開啟bash后生效 

linux中的路徑用 : 隔開

在文件末尾添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

 

 記得用 source 命令更新一下

 

接下來就是安裝Hadoop了

由於apt沒有自帶hadoop,我們只能用 wget url 命令來下載在當前目錄

官方url:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

清華鏡像站:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

選擇一個就好,推薦清華鏡像站,官方的國內下載很慢

 

解壓

 tar -zxvf hadoop-3.1.2.tar.gz -C ~/ 

我們配置一下hadoop環境在hadoop-3.1.2目錄下的 /etc/hadoop/hadoop-env.sh 

按文件里說的,在JAVA_HOME哪里添加你的JAVA目錄

 

我們進入hadoop目錄下檢查一下安裝成功了沒

 cd ~/hadoop-3.1.2 進入目錄

 ./bin/hadoop version 檢查版本

如上界面就是成功了

 

接下來就可以正式開始配置單機模式,偽分布式,或者完全分布式了

單機模式:在一台機上,沒有用到分布式系統,多用於測試

偽分布式:在一台機上,用多個java程序模擬分布式的過程,也就是你在一個機器上配置了hadoop的所有節點

完全分布式:就是最常用的真正的分布式了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM