Impala 3.3.0 源碼編譯安裝

      最新編譯Apache-impala 的心酸歷程。大概花了10天才整好，極度的崩潰！！！由於國內的上網環境大家都懂的，訪問國外的s3.amazonaws.com一些資源庫的速度極其感人，尤其國家處於疫情的特殊時期，各種KXSW被牆，如果你有高速上網通道，你可以忽略本文，安裝官方文檔直接編譯就行，在Google雲上編譯很快就能完成，但是拿到本地對於10多G幾K的速度而言基本無法忍受。嘗試了各種其他各種百度的方式編譯都不行情況下，還是回歸到官方的編譯方式，各種嘗試后終於完成。如果跟我一樣無法高速上網的同學可以參考下，可以加快進度。

背景：

• 最近一直在嘗試Hive 的Orc格式ACID 功能，但是CDH的impala最新版本都還不支持hive屬性 [transactional=true] 表。
• 各種資料查詢發現 IMPALA-8813 可以支持，版本是Apache-impala 最新版本 3.3.0版本，CDH目前還沒支持到目前跟之相匹配的版本。
• Apache-impala 版本的安裝好像只能源代碼編譯安裝，本人是沒有找到相關的 rpm 、yum  或者其他的安裝方式，有的話希望大佬可以分享指點下。

過程:

1. 准備環境 ： Centos 7 虛擬機一台，最好全新的，省的跟自己的本來環境造成沖突。
2. 下載源代碼：wget http://archive.apache.org/dist/impala/3.3.0/apache-impala-3.3.0.tar.gz
3. 解壓好后，修改一個配置文件 /bin/bootstrap_system.sh  把Ant的版本從1.9.13 改成1.9.14，並注釋掉 sha512sum 校驗。1.9.13已經無法下載，不然編譯會報錯
4. 設置環境變量 （新環境直接Copy，無需修改，都是安裝后的默認路徑）

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
   export JAVA_BIN=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/bin
   export PATH=$PATH:$JAVA_HOME/bin
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export JAVA_HOME JAVA_BIN PATH CLASSPATH
   export ANT_HOME=/usr/local/apache-ant-1.9.14
   export PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME/bin
   export MVN_HOME=/usr/local/apache-maven-3.5.4
   export PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME/bin:$MVN_HOME/bin

    

5. 【可以跳過】提前下載Python 需要的包,這個好像直接20 30M，可以直接下載，速度稍慢，但是至少是可以成功的。
6. 提前下載好native-toolchain 文件。

   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/tpc-h/2.17.0-gcc-4.9.2/tpc-h-2.17.0-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/re2/20190301-gcc-4.9.2/re2-20190301-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdp_components/1352353/tarballs/ranger-1.2.0.7.1.0.0-33-admin.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/kudu-1.10.0-cdh6.x-SNAPSHOT-redhat7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/llama-minikdc-1.0.0.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/hive-2.1.1-cdh6.x-SNAPSHOT.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/hadoop-3.0.0-cdh6.x-SNAPSHOT.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/sentry-2.1.0-cdh6.x-SNAPSHOT.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/cdh_components/1173663/tarballs/hbase-2.1.0-cdh6.x-SNAPSHOT.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/zstd/1.4.0-gcc-4.9.2/zstd-1.4.0-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/zlib/1.2.8-gcc-4.9.2/zlib-1.2.8-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/tpc-ds/2.1.0-gcc-4.9.2/tpc-ds-2.1.0-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/tpc-h/2.17.0-gcc-4.9.2/tpc-h-2.17.0-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/thrift/0.9.3-p7-gcc-4.9.2/thrift-0.9.3-p7-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/llvm/5.0.1-asserts-p1-gcc-4.9.2/llvm-5.0.1-asserts-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/llvm/5.0.1-p1-gcc-4.9.2/llvm-5.0.1-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/avro/1.7.4-p4-gcc-4.9.2/avro-1.7.4-p4-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/binutils/2.26.1-gcc-4.9.2/binutils-2.26.1-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/boost/1.57.0-p3-gcc-4.9.2/boost-1.57.0-p3-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/breakpad/97a98836768f8f0154f8f86e5e14c2bb7e74132e-p2-gcc-4.9.2/breakpad-97a98836768f8f0154f8f86e5e14c2bb7e74132e-p2-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/bzip2/1.0.6-p2-gcc-4.9.2/bzip2-1.0.6-p2-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/cctz/2.2-gcc-4.9.2/cctz-2.2-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/cmake/3.14.3-gcc-4.9.2/cmake-3.14.3-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/crcutil/440ba7babeff77ffad992df3a10c767f184e946e-p1-gcc-4.9.2/crcutil-440ba7babeff77ffad992df3a10c767f184e946e-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/flatbuffers/1.6.0-gcc-4.9.2/flatbuffers-1.6.0-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gcc/4.9.2-gcc-4.9.2/gcc-4.9.2-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gdb/7.9.1-p1-gcc-4.9.2/gdb-7.9.1-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gflags/2.2.0-p2-gcc-4.9.2/gflags-2.2.0-p2-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/glog/0.3.4-p3-gcc-4.9.2/glog-0.3.4-p3-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gperftools/2.5-gcc-4.9.2/gperftools-2.5-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gtest/1.6.0-gcc-4.9.2/gtest-1.6.0-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/libev/4.20-gcc-4.9.2/libev-4.20-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/libunwind/1.3-rc1-p3-gcc-4.9.2/libunwind-1.3-rc1-p3-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/lz4/1.7.5-gcc-4.9.2/lz4-1.7.5-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/openldap/2.4.47-gcc-4.9.2/openldap-2.4.47-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/openssl/1.0.2l-gcc-4.9.2/openssl-1.0.2l-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/orc/1.5.5-p1-gcc-4.9.2/orc-1.5.5-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz 
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/protobuf/3.5.1-gcc-4.9.2/protobuf-3.5.1-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/flatbuffers/1.6.0-gcc-4.9.2/flatbuffers-1.6.0-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/crcutil/440ba7babeff77ffad992df3a10c767f184e946e-p1-gcc-4.9.2/crcutil-440ba7babeff77ffad992df3a10c767f184e946e-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz
   https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/gcc/4.9.2-gcc-4.9.2/gcc-4.9.2-gcc-4.9.2-ec2-package-centos-7.tar.gz

   下載完成后，在源代碼的文件夾下建一個 toolchain文件夾，把沒有顏色標注的直接放到toolchain跟目錄下，標注顏色的根據網址新建2個文件夾 cdp_components_1352353 cdh_components_1173663 把對應的文件放到對應的文件夾中，編譯的過程中有時候明明存在了，還會重新下載的情況下，提前自己解壓下就會跳過。（主要的需要的包網址給大家備好，當時就這卡了N久沒速度干等，對於網速不好的同學是個挑戰，大家各顯神通，后續整理好我把本地的上傳到網盤分享下）

7. 執行編譯命令 

   cd ~/Impala
   export IMPALA_HOME=`pwd`
   $IMPALA_HOME/bin/bootstrap_system.sh
   source $IMPALA_HOME/bin/impala-config.sh
   $IMPALA_HOME/buildall.sh -noclean -notests

8. 如果能出現（盜圖哈，我的當時沒截圖），就證明差不多快成功了

9. 

 

補充我下載好的資源分享：

鏈接：https://pan.baidu.com/s/1TCGTW0QS00zJi8iGsn5bmQ
提取碼：rzkx

 

錯誤:

1.編譯失敗 ，需要重新執行編譯的話，需要刪除：

編譯失敗 需要刪除：
cd  /usr/local/bin   rm -rf ant
cd  /var/lib/pgsql   yum remove postgresql
                     rm -rf data/
再次執行編譯命令

2.

g++: internal compiler error: Killed (program cc1plus)


執行 ：dmesg
[ 4449.266432] Out of memory: Kill process 11351 (cc1plus) score 782 or sacrifice child

虛擬機增加內存，gcc 編譯需要很多內存

 

3. 到編譯到最后的時候非常慢，[run maven -B xxxxx]的字樣卡住時，這個是在下載maven 的資源庫下載到本地，非常慢。需要等待N久。稍后我整理好我的本地的資源統一上傳。可以下載大概 500M左右