Hive-壓縮和存儲（一）Snappy壓縮

Hadoop源碼編譯支持Snappy壓縮

一、資源准備

1.CentOS聯網 

配置CentOS能連接外網。Linux虛擬機ping www.baidu.com 是暢通的

注意：采用root角色編譯，減少文件夾權限出現問題

2.jar包准備(hadoop源碼、JDK8 、maven、protobuf)

（1）hadoop-2.8.4-src.tar.gz

（2）jdk-8u144-linux-x64.tar.gz

（3）snappy-1.1.3.tar.gz

（4）apache-maven-3.0.5-bin.tar.gz

（5）protobuf-2.5.0.tar.gz

二、jar包安裝

注意：所有操作必須在root用戶下完成

1.JDK解壓、配置環境變量JAVA_HOME和PATH，驗證java-version(如下都需要驗證是否配置成功)

[root@bigdata111 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/

[root@bigdata111 software]# vi /etc/profile

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

[root@bigdata111 software]#source /etc/profile

驗證命令：java -version

2.Maven解壓、配置  MAVEN_HOME和PATH。

[root@bigdata111 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/

[root@bigdata111 apache-maven-3.0.5]# vi /etc/profile

#MAVEN_HOME

export MAVEN_HOME=/opt/module/apache-maven-3.0.5

export PATH=$PATH:$MAVEN_HOME/bin

[root@bigdata111 software]#source /etc/profile

驗證命令：mvn -version

三、編譯源碼

1.准備編譯環境

[root@bigdata111 software]# yum install svn

[root@bigdata111 software]# yum install autoconf automake libtool cmake

[root@bigdata111 software]# yum install ncurses-devel

[root@bigdata111 software]# yum install openssl-devel

[root@bigdata111 software]# yum install gcc*

2.編譯安裝snappy

[root@bigdata111 software]# tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/

[root@bigdata111 module]# cd snappy-1.1.3/

[root@bigdata111 snappy-1.1.3]# ./configure

[root@bigdata111 snappy-1.1.3]# make

[root@bigdata111 snappy-1.1.3]# make install

# 查看snappy庫文件

[root@bigdata111 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy

3.編譯安裝protobuf

[root@bigdata111 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

[root@bigdata111 module]# cd protobuf-2.5.0/

[root@bigdata111 protobuf-2.5.0]# ./configure 

[root@bigdata111 protobuf-2.5.0]#  make 

[root@bigdata111 protobuf-2.5.0]#  make install

# 查看protobuf版本以測試是否安裝成功

[root@bigdata111 protobuf-2.5.0]# protoc --version

4.編譯hadoop native

[root@bigdata111 software]# tar -zxvf hadoop-2.8.4-src.tar.gz

[root@bigdata111 software]# cd hadoop-2.8.4-src/

[root@bigdata111 software]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

執行成功后，/opt/software/hadoop-2.8.4-src/hadoop-dist/target/hadoop-2.8.4.tar.gz即為新生成的支持snappy壓縮的二進制安裝包。