環境說明:
cdh版本:cdh6.3.2
組件版本信息如下:
| 組件 | 版本 |
|---|---|
| Cloudera Manager | 6.3.1 |
| Flume | 1.9.0+cdh6.3.2 |
| Hadoop | 3.0.0+cdh6.3.2 |
| HBase | 2.1.0+cdh6.3.2 |
| Hive | 2.1.1+cdh6.3.2 |
| Hue | 4.2.0+cdh6.3.2 |
| Impala | 3.2.0+cdh6.3.2 |
| Kafka | 2.2.1+cdh6.3.2 |
| Solr | 7.4.0+cdh6.3.2 |
| spark | 2.4.0+cdh6.3.2 |
| Sqoop | 1.4.7+cdh6.3.2 |
| ZooKeeper | 3.4.5+cdh6.3.2 |
一.下載flink,並制作parcel包
1.相關資源下載
1.1) flink下載地址: https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.12.tgz
1.2) parcel制作工具：https://github.com/pkeropen/flink-parcel.git
1.3) cm驗證工具:https://github.com/cloudera/cm_ext.git
說明: 需要用到maven,unzip,確保已安裝並配置mvn環境變量,我這里linux可以訪問外網,正常企業集群服務器是不能連接外網的,需要提前下載上面的兩個工具和flink.或者在可連外網的服務器生成parcel和csd jar后再上傳cdh集群服務器
2.制作parcel
將flink-parcel下載到linux上:
可以看到紅色框起來的文件及文件夾,給build.sh添加執行權限
第一步:修改配置
修改flink-parcel.properties為以下內容:
#flink版本號
FLINK_VERSION=1.12.0
#擴展版本號
EXTENS_VERSION=BIN-SCALA_2.12
#操作系統版本，以centos為例
OS_VERSION=7
#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3
#CDH大版本
CDH_MIN=5
CDH_MAX=6
第二步:上傳安裝包和cm驗證工具,修改腳本並執行parcel生成腳本
cd /soft/flink-parcel/
#執行腳本時會在github上下載工具,有時候連接不上github會導致腳本報錯,我是提前將cm_ext和flink-1.12.0-bin-scala_2.12.tgz下載好,並放在/soft/flink-parcel/目錄下
文件夾名得改成圖片一樣.
即上面截圖中的藍色框框中的部分
./build.sh parcel
執行完成之后會生成FLINK-1.12.0-BIN-SCALA_2.12_build目錄:
里面就包含了三個文件:
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel.sha
manifest.json
./build.sh csd_on_yarn
執行完回生成FLINK_ON_YARN-1.12.0.jar文件
二.安裝flink
1. 方式一,制作yum源,配置parcel遠程倉庫
cd /var/www/html
mkdir flink1.12.0
cp /soft/flink-parcel/FLINK-1.12.0-BIN-SCALA_2.12_build/* flink1.12.0/
cd flink1.12.0
createrepo .
cd /etc/yum.repo.d
vim flink.repo
#添加以下內容,並保存退出
[flink]
name=flink,Version 1.12.0
baseurl=http://192.168.127.111/flink1.12.0/
enable=1
gpgcheck=0
2.添加flink遠程庫
3.方式二parcel包放入本地倉庫文件夾並修改用戶和組
cd /opt/cloudera/parcel-repo
mv manifest.json manifest.json.bak
cp /var/www/html/flink1.12.0/FLINK.* /var/www/html/flink1.12.0/manifest.json ./
chown cloudera-scm. ./*
4.將jar包放入csd文件夾,並修改用戶和組
cp /soft/flink-parcel/FLINK_ON_YARN-1.12.0.jar /opt/cloudera/csd/
cd /opt/cloudera/csd/
chown cloudera-scm. FLINK_ON_YARN-1.12.0.jar
4.並分發激活
下載分發
點擊激活按鈕,顯示已激活
5.安裝flink
添加服務中選擇添加flink
測試flink:
