==背景==
我目前在做的項目屬於物聯網場景,數據實時流處理之后已經存儲到了時序數據庫當中,
需要從時序數據庫中,根據具體的業務特性來生成一些具體的業務數據(如報表數據),
這個部分的架構,在我們項目中目前還是一個盲點,需要解決掉它。
經朋友介紹,dolphinscheduler這個調度工具出現在了我的視野當中,進行了一次部署嘗試。
==下載==
https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html
直接去官網下載就可以了,我這里下載的是1.3.3版本
==部署==
官網的部署文檔非常的詳細,基本上按照步驟直接操作就可以部署成功。
https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html
需要注意的是,不要看錯了文檔,默認的是1.2.1版本的文檔哦。
==踩過的坑==
【小插曲1】
問題描述:
由於我驗證的環境在阿里雲ecs服務器當中,為了應對阿里雲的安全檢查,將zookeeper配置了acl權限驗證。
結果在ds啟動的時候,提示錯誤KeeperErrorCode = NoAuth,告訴我無法在zk中創建/dolphinscheduler路徑,
解決辦法:
1、進入zkCli客戶端 sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh 2、獲取auth用戶 addauth digest zk_admin:RexelZkAdmin#982 3、手動創建路徑 create /dolphinscheduler
【小插曲2】
問題描述:
執行了install.sh之后,發現3個節點當中,只有1個節點啟動成功了,另外兩個節點的jps進程中沒有ds的進程。
問題原因:
是因為我太過於心急了,對另外兩個節點沒有創建ds的用戶。按照官網提示的操作,創建用戶即可。
# 創建用戶需使用root登錄,設置部署用戶名,請自行修改,后面以dolphinscheduler為例 useradd dolphinscheduler; # 設置用戶密碼,請自行修改,后面以dolphinscheduler123為例 echo "dolphinscheduler123" | passwd --stdin dolphinscheduler # 配置sudo免密 echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
【小插曲3】
問題描述:
web頁面啟動不起來
解決辦法:
打開以下兩個配置項,都使用默認值就可以。
文件:master.properties,配置項:master.listen.port=5678
文件:worker.properties,配置項:worker.listen.port: 1234
--END--