hello，大家好，我是阿周，上周我們講解了AirFlow的一些基本概念，請看文章：學會AirFlow調度工作流平台，讓你告別加班，老板還會升值加薪，但是只知道理論知識是不行的，所以接下來我將帶領大家一塊安裝部署，通過實戰學會airflow。
1、Anaconda環境准備
由於Airflow2.1.2版本依賴於python3高階版本，但是服務器中一般默認python2.7.5版本，如下圖：
所以，我們直接通過部署miniconda,創建虛擬python3環境就可以滿足airflow的要求。
1.1、 下載miniconda版本
yum install -y wget wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
1.2 安裝 minicopnda
直接在服務器中安裝下載的miniconda
sh Miniconda3-latest-Linux-x86_64.sh
1.3、 一直按 enter 鍵，然后輸入 yes，最后輸入n
1.4 配置conda環境變量
1.4.1 配置conda環境變量
vi /etc/profile
export MINICONDA_HOME=/root/miniconda3 export PATH=$PATH:$MINICONDA_HOME/bin #刷新配置 source /etc/profile
1.5、 配置conda 鏡像源
conda config --set show_channel_urls yes vi ~/.condarc ##添加下面內容
channels: - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free - defaults show_channel_urls: true
1.6、 安裝jupyter （miniconda3默認沒有jupyter ,完整版的Anaconda3有jupyter,所以根據版本忽略）
pip install jupyter
1.7、 配置jupyter
""" 第一步 生成配置文件 """ jupyter notebook --generate-config --allow-root //配置文件生成在：/root/.jupyter/jupyter_notebook_config.py """ 第二步 生成密碼 """ jupyter notebook password //密碼設置的是 123456 自己設置 文件生成在 /root/.jupyter/jupyter_notebook_config.json """ 第三步 編輯/root/.jupyter/jupyter_notebook_config.py文件 """ vim /root/.jupyter/jupyter_notebook_config.py c.NotebookApp.ip = '192.168.244.161' c.NotebookApp.open_browser = False c.NotebookApp.port = 8888 c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$Z4FzhnirRGrPwhwg2oWa9A$b5KuKRMr9l+zyK2I0W6KCA' //該密碼在上面有生成
1.8、關閉防火牆
systemctl stop firewall
2、Mysql數據庫安裝
這里跳轉到我寫的一片mysql的筆記
3、mysql-connector-java-5.1.39 上傳整理（我暫時沒有用到這部分）
3.1、在對話框中都創建java目錄
mkdir /usr/share/java
3.2上傳jar包，百度雲如下：
鏈接：
https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA
提取碼：c4hk
將mysql-connector-java-5.1.39.jar 上傳到 /usr/share/java 目錄下
3.3 修改jar名稱
mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
4、創建AirFlow環境
由於上面我們已經安裝好Miniconda,所以現在可以創建任意python版本的項目
4.1、 新建AirFlow項目 。使用python3.7.5
# 新建項目 conda create -n airflow python==3.7.5 #進入創建的airflow項目中 source activate airflow
4.2、安裝airflow依賴
pip install apache-airflow pip install apache-airflow[mysql]
4.3、生成airflow映射目錄
airflow -h
4.4、 進入airflow目錄中，修改airflow.cfg配置
#配置連接mysql 30行 sql_alchemy_conn = mysql://root:123456@192.168.244.182:3306/airflow #配置登錄ip和端口號 460行 web_server_host = 192.168.244.182 #設置airflow用戶名和密碼 #在[webserver]下面配置 447行 authenticate = True auth_backend = airflow.contrib.auth.backends.password_auth
4.5、 執行命令，設置airflow登錄頁面用戶名和密碼
#用戶名：admin #郵箱 admin@qq.com #密碼：admin airflow users create --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin
4.6、 初始化airflow 數據庫
airflow db init
4.7關閉防火牆
systemctl stop firewalld systemctl disable firewalld
4.8、 啟動airflow集群
airflow webserver --port 8080
4.9、 輸入用戶名admin,密碼：admin
