前面三步做完以后,就可以配置airflow的環境變量了
在此之前,可能需要先安裝下依賴包
yum install mysql-devel gcc gcc-devel python-devel
之后切換到python36
conda activate py36
找到airflow的安裝目錄,配置到環境變量
#Airflow環境變量 export AIRFLOW_HOME=/root/airflow export SITE_AIRFLOW_HOME=/root/miniconda3/envs/py36/lib/python3.6/site-packages/airflow export PATH=$PATH:$SITE_AIRFLOW_HOME/bin #生效環境變量 source /etc/profile
這個時候在/root/airflow下就會出現airflow.cfg文件,作如下修改
executor = CeleryExecutor broker_url = redis://:${redis_password}@${redis_ip}:6379/0 result_backend = db+mysql://${username}:${password}@${mysql_ip}:3306/airflow sql_alchemy_conn = mysql://${username}:${password}@${mysql_ip}/airflow #這兩個默認端口8793,5555被占用了,所以改成了新的netstat -tunlp | grep 5555 worker_log_server_port = 8795 flower_port = 5556
修改完配置文件,執行數據庫初始化
airflow initdb
不報錯就說明成功了,查看下mysql中airflow庫下就會有airflow的表生成
然后啟動airflow
#master服務器可以把如下服務都啟動,worker只需要啟動worker airflow webserver -D airflow scheduler -D airflow worker -D airflow flower -D
如果啟動成功,說明配置沒問題,就可以把airflow.cfg同步(rsync)到worker服務器將worker啟動起來
正常情況根據airflow.cfg中的網址base_url 就可以找到airflow的web界面,代表webserver啟動成功
#/root/airflow/airflow.cfg base_url = http://localhost:8080 web_server_host = 0.0.0.0 web_server_port = 8080
根據flower_port,就可以找到flower監控UI,看到已經啟動的worker