Rancher搭建flink集群

Service的IP

        service ip不能ping通 但可以通過service ip訪問后面的服務

        

        

        You can run a JobManager (master)

        You can also run a TaskManager (worker)

        taskmanager默認會向自身的6123端口發起注冊    taskmanager在30000ms內無法在jobmanager處注冊就會拋出異常.

 Rancher給pod添加自定義label

           pod添加標簽和在工作負載添加標簽不一樣   在工作負載上添加標簽使當前負載下所有創建的pod都會帶有此標簽  在pod下添加標簽只會在當前pod上生效

        

           

          

  給工作負載添加自定義DNS記錄

         

        

        

非HA的flink集群搭建

       一個jobmanager

        

      多個taskmanager

           jobmanager和taskmanager的配置都是一樣的  他們兩者的區別在於啟動的指令不一樣

           jobmanager的啟動命令       "$FLINK_BIN_DIR"/jobmanager.sh start-foreground

           taskmanager的啟動命令      "/bin/bash","/flink/flink-1.11.1/bin/taskmanager.sh","start-foreground"

     

 

      

 

       

自動上傳jar包到flink-web

  1.找到上傳接口地址

        

  2.使用命令上傳

      

 3.解決方案

    1.先讓flink主容器處於運行狀態 然后在外面(主機上)使用shell腳本調用curl命令把jar上傳到flink容器中

    2.使用flink的sidecar容器來處理向flink主容器處理一些輔助功能

      

 

          

 

           

 

                

 

               

#! /bin/bash

echo "開始上傳flink的jar包"
count=0

while [ $count -le 0 ]
do
  count=`ss -antp | grep 8081 | wc -l`
  echo "flink進程還在啟動中......"
  sleep 3
done

echo "flink進程已經成功啟動......."
curl -F 'file=@RelaAnalysisEngine.jar' http://127.0.0.1:8081/jars/upload
echo "上傳jar包結束........."
tail -f /dev/null