CdH版本hadoop編譯


【准備的安裝包】

repo.tar.gz

repo.tar.gz 鏈接:https://pan.baidu.com/s/1wGCgV_3R3VUm2ka_aVA8GQ 提取碼:lrej
Hadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gz  鏈接:https://pan.baidu.com/s/1uRMGIhLSL9QHT-Ee4F16jw 提取碼:jb1d
jdk jdk-7u80-linux-x64.tar.gz  鏈接:https://pan.baidu.com/s/1xSCQ8rjABVI-zDFQS5nCPA 提取碼:lfze
maven apache-maven-3.3.9-bin.tar.gz 鏈接:https://pan.baidu.com/s/1ddkdkLW7r7ahFZmgACGkVw  提取碼:fdfz
protobuf protobuf-2.5.0.tar.gz 鏈接:https://pan.baidu.com/s/1RSNZGd_ThwknMB3vDkEfhQ  提取碼:hvc2

 

注意】在配置環境變量的時候,我們用vi /etc/profile,全局的,因為我們在編譯的過稱中,用的是root用戶為了避免權限不夠的情況,但是編譯出的安裝包還要給hadoop用戶用,所以為了避免環境問題我們用全局變量

[root@hadoop001 app]# pwd
/app

[root@hadoop001 app]# ll
total 167156
drwxr-xr-x 6 root root 4096 Apr 15 11:31 apache-maven-3.3.9
-rw-r--r-- 1 root root 8491533 Apr 15 11:20 apache-maven-3.3.9-bin.tar.gz
-rw-r--r-- 1 root root 42610549 Apr 9 19:37 hadoop-2.6.0-cdh5.7.0-src.tar.gz
-rw-r--r-- 1 root root 2401901 May 21 2017 protobuf-2.5.0.tar.gz
-rw-r--r-- 1 root root 110155070 Apr 9 20:37 repo.tar.gz

 

 

坑:要用jdk1.7版本
參考博客:https://blog.csdn.net/qq_32641659/article/details/89074365?tdsourcetag=s_pcqq_aiomsg

【下載相關依賴庫】

[root@hadoop001 ~]# yum install -y svn ncurses-devel
[root@hadoop001 ~]# yum install -y gcc gcc-c++ make cmake
[root@hadoop001 ~]# yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
[root@hadoop001 ~]# yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake

 

【jdk1.7安裝配置】
坑:jdk解壓以后用戶和用戶組不是root,要改為root用戶

[root@hadoop001 ~]# mkdir /usr/java
[root@hadoop001 ~]# tar -zxvf /home/hadoop/soft/jdk-7u80-linux-x64.tar.gz -C /usr/java
[root@hadoop001 ~]# cd /usr/java/
[root@hadoop001 java]# chown -R root:root jdk1.7.0_80

[root@hadoop001 jdk1.7.0_45]# vim /etc/profile
#添加如下兩行環境變量

【export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH】

[root@hadoop001 jdk1.7.0_45]# source /etc/profile
#測試java是否安裝成功

[root@hadoop001 jdk1.7.0_45]# java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

 

【安裝配置maven】

[root@hadoop001 app]# pwd
/app

[root@hadoop001 app]$ tar -zxvf apache-maven-3.3.9-bin.tar.gz 

[root@hadoop001 app]# ll
total 167156
drwxr-xr-x 6 root root 4096 Apr 15 11:31 apache-maven-3.3.9

[root@hadoop001 app]# vi /etc/profile

export MAVEN_HOME=/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_OPTS="-Xms1024m -Xmx1024m"    -----加這個是為了防止oot

[root@hadoop001 app]# which mvn
/app/apache-maven-3.3.9/bin/mvn

【測試是否可以使用maven】

[root@hadoop001 app]# mvn -version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /app/apache-maven-3.3.9
Java version: 1.7.0_45, vendor: Oracle Corporation
Java home: /usr/java/jdk1.7.0_45/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-696.16.1.el6.x86_64", arch: "amd64", family: "unix"

【坑】執行這個的時候可能會出現Cannot allocate memory (errno=12)

這個我使用的阿里雲的服務器,我實在找不大解決辦法了,就重啟了一下阿里雲的服務器,你敢想,他就好了。

 

超級大坑

maven的setting的配置真的是一個超級大坑,報錯的80%都是因為他,為什么說他是坑,因為里邊所有的內容都是被注釋掉的,稍微小白一點就會被弄死,並且更可氣的是 ,你不可以自己往里插入,必須用原來的。

[root@hadoop001 conf]# pwd
/app/apache-maven-3.3.9/conf

 下邊這兩個圖片一定一定注意,不可以差一絲一毫,差了就報各種錯誤

 

 

[root@hadoop001 ~]# mkdir maven_repo

[root@hadoop001 app]# pwd
/app

[root@hadoop001 app]#tar -xzvf repo.tar.gz -C /root/maven_repo/

[root@hadoop001 maven_repo]# ll
total 4
drwxrwxr-x 52 hadoop hadoop 4096 Dec 1 14:58 repo   【這里這個路徑就是下邊配置的這個路徑】

 

【安裝配置protobuf】

[root@hadoop001 app]# tar -zxvf protobuf-2.5.0.tar.gz

[root@hadoop001 app]# vi /etc/profile

export PROTOC_HOME=/root/protobuf
export PATH=$PROTOC_HOME/bin:$PATH

[root@hadoop001 protobuf-2.5.0]# ./configure  --prefix=/root/protobuf/

[root@hadoop001 protobuf-2.5.0]# make

[root@hadoop001 protobuf-2.5.0]# make install

【查看是否安裝成功】

[root@hadoop001 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0

【解壓cdh的hadoop源碼】

[root@hadoop001 app]# tar -xzvf hadoop-2.6.0-cdh5.7.0-src.tar.gz

[root@hadoop001 app]# cd hadoop-2.6.0-cdh5.7.0

[root@hadoop001 hadoop-2.6.0-cdh5.7.0]# mvn clean package -Pdist,native -DskipTests -Dtar

這是一個漫長而又緊張的等待過程,錯誤百出,順利不易啊!!!!!

我一共遇見啦兩個錯誤

上圖吧

這個是因為我的

這個位置沒有從注釋里弄出來。

這個從錯誤中可以看出沒有tomat包,所以我自己去下載的。

[root@hadoop001 downloads]# pwd
/app/hadoop-2.6.0-cdh5.7.0/hadoop-common-project/hadoop-kms/downloads
[root@hadoop001 downloads]# ll
total 6904
drwxr-xr-x 9 root root 4096 Apr 15 19:48 apache-tomcat-6.0.44
-rw-r--r-- 1 root root 7065218 Apr 15 19:41 apache-tomcat-6.0.44.tar.gz
[root@hadoop001 downloads]#

下載地址:

https://archive.apache.org/dist/tomcat/tomcat-6/v6.0.44/bin/    打開以后下載這個文件

 

 

最后終於成功了,,,淚奔

 

[root@hadoop001 target]# pwd
/app/hadoop-2.6.0-cdh5.7.0/hadoop-dist/target

拿着這個hadoop-2.6.0-cdh5.7.0.tar.gz重新部署一次hadoop偽分布,部署過程,看我的另一篇博客

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM