airflow分布式部署(四)airflow環境變量與參數配置


前面三步做完以后,就可以配置airflow的環境變量了

在此之前,可能需要先安裝下依賴包

yum install mysql-devel gcc gcc-devel python-devel

之后切換到python36

conda activate py36

找到airflow的安裝目錄,配置到環境變量

#Airflow環境變量
export AIRFLOW_HOME=/root/airflow
export SITE_AIRFLOW_HOME=/root/miniconda3/envs/py36/lib/python3.6/site-packages/airflow
export PATH=$PATH:$SITE_AIRFLOW_HOME/bin
#生效環境變量
source /etc/profile

這個時候在/root/airflow下就會出現airflow.cfg文件,作如下修改

executor = CeleryExecutor
broker_url = redis://:${redis_password}@${redis_ip}:6379/0
result_backend = db+mysql://${username}:${password}@${mysql_ip}:3306/airflow
sql_alchemy_conn = mysql://${username}:${password}@${mysql_ip}/airflow
#這兩個默認端口8793,5555被占用了,所以改成了新的netstat -tunlp | grep 5555
worker_log_server_port = 8795
flower_port = 5556

修改完配置文件,執行數據庫初始化

airflow initdb

不報錯就說明成功了,查看下mysql中airflow庫下就會有airflow的表生成

然后啟動airflow

#master服務器可以把如下服務都啟動,worker只需要啟動worker
airflow webserver -D
airflow scheduler -D
airflow worker -D
airflow flower -D

如果啟動成功,說明配置沒問題,就可以把airflow.cfg同步(rsync)到worker服務器將worker啟動起來

正常情況根據airflow.cfg中的網址base_url 就可以找到airflow的web界面,代表webserver啟動成功

#/root/airflow/airflow.cfg
base_url = http://localhost:8080

web_server_host = 0.0.0.0

web_server_port = 8080

根據flower_port,就可以找到flower監控UI,看到已經啟動的worker

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM