flink1.12 最新版本1.12.4 flink1.13 parcel包集成到 CDH 6.3.0

環境

1. Ubuntu 20.04
2. jdk1.8
3. maven3.6
4. python2.7
5. 用到的rpm包 https://share.weiyun.com/7KDR8C56
6. 支持flink1.13.0 修改教程里的配置文件即可

JDK1.8安裝

#安裝jdk1.8
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

#環境變量設置
vim /etc/profile

#加入以下代碼
#java
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH

#驗證 命令行輸入
java -version

顯示以下信息，即java環境已配置好。

 

 

 

MAVEN3.6安裝

#解壓安裝包
gunzip -c apache-maven-3.6.3-bin.tar.gz | tar xvf -

#移動到usr目錄
mv apache-maven-3.6.3 /usr/

#新增環境變量
vim /etc/profile

#文件末尾加入以下信息
#maven
export M2_HOME=/usr/apache-maven-3.6.3/
export M2=$M2_HOME/bin
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$M2_HOME/bin:$PATH

#驗證 命令行輸入
mvn -version

顯示以下信息，即maven環境已配置好。

 

 

Python2.7

#Ubuntu20.04 命令
sudo apt-get install python -y

#驗證 命令行輸入
python --version

顯示以下信息，即python2.7環境已配置好。

 

 

 

 git

#git安裝命令
sudo apt-get install -y git

#驗證
git --version

顯示以下信息，即git環境已配置好。

 

 

 編譯parcel包

#克隆代碼
git clone https://gitee.com/abram-guo/flink-parcel-master.git

有興趣可以去看，源碼githun地址
https://hub.fastgit.org/bingoguo93/flink-parcel-master.git
建議代碼使用gitee的地址，速度快些

#進入項目目錄
cd flink-parcel-master

#修改flink-parcel.properties配置文件
vim flink-parcel.properties

#FLINk 下載地址
FLINK_URL=https://ftp.kddi-research.jp/infosystems/apache/flink/flink-1.12.4/flink-1.12.4-bin-scala_2.11.tgz

#flink版本號
FLINK_VERSION=1.12.4

#擴展版本號
EXTENS_VERSION=BIN-SCALA_2.11

#操作系統版本，以centos為例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.13
CDH_MAX_FULL=6.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

注意這里的環境信息和自己的環境要對應上

環境和我一樣，centos7 cdh6.0.0 - cdh6.3.0可不用修改配置文件

#操作系統版本，以centos為例，這里代表了centos7，centos6的需要改為6
OS_VERSION=7

#CDH 小版本  cdh5的版本建議修改為5.10-5.13，版本范圍需要包含你的cdh版本
CDH_MIN_FULL=5.13
CDH_MAX_FULL=6.3

#CDH大版本   cdh5的建議全部修改為5
CDH_MIN=5 CDH_MAX=6

#進入項目目錄
cd flink-parcel-master

#編譯parcel包
./build.sh parcel

等待即可

出現以下即編譯成功

 

 

 

#parcel包在項目目錄下的build文件夾里
ll ./FLINK-1.12.4-BIN-SCALA_2.11_build

 

 

 CSD包編譯

#進入項目目錄
cd flink-parcel-master

#編譯parcel包
./build.sh csd

出現以下則編譯成功

 

 

#csd包在項目目錄下
ll .

 

 

源碼來自GitHub倉庫：https://github.com/EvenGui/flink-parcel-master

源碼作者的教程：https://blog.csdn.net/guiyifei/article/details/109325980

本人修改了小部分腳本，只是方便編譯使用

GitHub倉庫：https://github.com/bingoguo93/flink-parcel-master