【准備的安裝包】
repo.tar.gz
repo.tar.gz | 鏈接:https://pan.baidu.com/s/1wGCgV_3R3VUm2ka_aVA8GQ | 提取碼:lrej |
Hadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gz | 鏈接:https://pan.baidu.com/s/1uRMGIhLSL9QHT-Ee4F16jw | 提取碼:jb1d |
jdk jdk-7u80-linux-x64.tar.gz | 鏈接:https://pan.baidu.com/s/1xSCQ8rjABVI-zDFQS5nCPA | 提取碼:lfze |
maven apache-maven-3.3.9-bin.tar.gz | 鏈接:https://pan.baidu.com/s/1ddkdkLW7r7ahFZmgACGkVw | 提取碼:fdfz |
protobuf protobuf-2.5.0.tar.gz | 鏈接:https://pan.baidu.com/s/1RSNZGd_ThwknMB3vDkEfhQ | 提取碼:hvc2 |
【注意】在配置環境變量的時候,我們用vi /etc/profile,全局的,因為我們在編譯的過稱中,用的是root用戶為了避免權限不夠的情況,但是編譯出的安裝包還要給hadoop用戶用,所以為了避免環境問題我們用全局變量
[root@hadoop001 app]# pwd
/app
[root@hadoop001 app]# ll
total 167156
drwxr-xr-x 6 root root 4096 Apr 15 11:31 apache-maven-3.3.9
-rw-r--r-- 1 root root 8491533 Apr 15 11:20 apache-maven-3.3.9-bin.tar.gz
-rw-r--r-- 1 root root 42610549 Apr 9 19:37 hadoop-2.6.0-cdh5.7.0-src.tar.gz
-rw-r--r-- 1 root root 2401901 May 21 2017 protobuf-2.5.0.tar.gz
-rw-r--r-- 1 root root 110155070 Apr 9 20:37 repo.tar.gz
【坑:要用jdk1.7版本】
參考博客:https://blog.csdn.net/qq_32641659/article/details/89074365?tdsourcetag=s_pcqq_aiomsg
【下載相關依賴庫】
[root@hadoop001 ~]# yum install -y svn ncurses-devel
[root@hadoop001 ~]# yum install -y gcc gcc-c++ make cmake
[root@hadoop001 ~]# yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
[root@hadoop001 ~]# yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake
【jdk1.7安裝配置】
【坑:jdk解壓以后用戶和用戶組不是root,要改為root用戶】
[root@hadoop001 ~]# mkdir /usr/java
[root@hadoop001 ~]# tar -zxvf /home/hadoop/soft/jdk-7u80-linux-x64.tar.gz -C /usr/java
[root@hadoop001 ~]# cd /usr/java/
[root@hadoop001 java]# chown -R root:root jdk1.7.0_80
[root@hadoop001 jdk1.7.0_45]# vim /etc/profile
#添加如下兩行環境變量
【export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH】
[root@hadoop001 jdk1.7.0_45]# source /etc/profile
#測試java是否安裝成功
[root@hadoop001 jdk1.7.0_45]# java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
【安裝配置maven】
[root@hadoop001 app]# pwd
/app
[root@hadoop001 app]$ tar -zxvf apache-maven-3.3.9-bin.tar.gz
[root@hadoop001 app]# ll
total 167156
drwxr-xr-x 6 root root 4096 Apr 15 11:31 apache-maven-3.3.9
[root@hadoop001 app]# vi /etc/profile
export MAVEN_HOME=/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_OPTS="-Xms1024m -Xmx1024m" -----加這個是為了防止oot
[root@hadoop001 app]# which mvn
/app/apache-maven-3.3.9/bin/mvn
【測試是否可以使用maven】
[root@hadoop001 app]# mvn -version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /app/apache-maven-3.3.9
Java version: 1.7.0_45, vendor: Oracle Corporation
Java home: /usr/java/jdk1.7.0_45/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-696.16.1.el6.x86_64", arch: "amd64", family: "unix"
【坑】執行這個的時候可能會出現Cannot allocate memory (errno=12)
這個我使用的阿里雲的服務器,我實在找不大解決辦法了,就重啟了一下阿里雲的服務器,你敢想,他就好了。
【超級大坑】
maven的setting的配置真的是一個超級大坑,報錯的80%都是因為他,為什么說他是坑,因為里邊所有的內容都是被注釋掉的,稍微小白一點就會被弄死,並且更可氣的是 ,你不可以自己往里插入,必須用原來的。
[root@hadoop001 conf]# pwd
/app/apache-maven-3.3.9/conf
下邊這兩個圖片一定一定注意,不可以差一絲一毫,差了就報各種錯誤
[root@hadoop001 ~]# mkdir maven_repo
[root@hadoop001 app]# pwd
/app
[root@hadoop001 app]#tar -xzvf repo.tar.gz -C /root/maven_repo/
[root@hadoop001 maven_repo]# ll
total 4
drwxrwxr-x 52 hadoop hadoop 4096 Dec 1 14:58 repo 【這里這個路徑就是下邊配置的這個路徑】
【安裝配置protobuf】
[root@hadoop001 app]# tar -zxvf protobuf-2.5.0.tar.gz
[root@hadoop001 app]# vi /etc/profile
export PROTOC_HOME=/root/protobuf
export PATH=$PROTOC_HOME/bin:$PATH
[root@hadoop001 protobuf-2.5.0]# ./configure --prefix=/root/protobuf/
[root@hadoop001 protobuf-2.5.0]# make
[root@hadoop001 protobuf-2.5.0]# make install
【查看是否安裝成功】
[root@hadoop001 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
【解壓cdh的hadoop源碼】
[root@hadoop001 app]# tar -xzvf hadoop-2.6.0-cdh5.7.0-src.tar.gz
[root@hadoop001 app]# cd hadoop-2.6.0-cdh5.7.0
[root@hadoop001 hadoop-2.6.0-cdh5.7.0]# mvn clean package -Pdist,native -DskipTests -Dtar
這是一個漫長而又緊張的等待過程,錯誤百出,順利不易啊!!!!!
我一共遇見啦兩個錯誤
上圖吧
這個是因為我的
這個位置沒有從注釋里弄出來。
這個從錯誤中可以看出沒有tomat包,所以我自己去下載的。
[root@hadoop001 downloads]# pwd
/app/hadoop-2.6.0-cdh5.7.0/hadoop-common-project/hadoop-kms/downloads
[root@hadoop001 downloads]# ll
total 6904
drwxr-xr-x 9 root root 4096 Apr 15 19:48 apache-tomcat-6.0.44
-rw-r--r-- 1 root root 7065218 Apr 15 19:41 apache-tomcat-6.0.44.tar.gz
[root@hadoop001 downloads]#
下載地址:

最后終於成功了,,,淚奔
[root@hadoop001 target]# pwd
/app/hadoop-2.6.0-cdh5.7.0/hadoop-dist/target
拿着這個hadoop-2.6.0-cdh5.7.0.tar.gz重新部署一次hadoop偽分布,部署過程,看我的另一篇博客