dolphinscheduler1.3.3部署中踩到的坑


==背景==

我目前在做的項目屬於物聯網場景,數據實時流處理之后已經存儲到了時序數據庫當中,

需要從時序數據庫中,根據具體的業務特性來生成一些具體的業務數據(如報表數據),

這個部分的架構,在我們項目中目前還是一個盲點,需要解決掉它。

經朋友介紹,dolphinscheduler這個調度工具出現在了我的視野當中,進行了一次部署嘗試。

 

==下載==

https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

直接去官網下載就可以了,我這里下載的是1.3.3版本

 

==部署==

官網的部署文檔非常的詳細,基本上按照步驟直接操作就可以部署成功。

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html

需要注意的是,不要看錯了文檔,默認的是1.2.1版本的文檔哦。 

 

==踩過的坑==

【小插曲1】

問題描述:

由於我驗證的環境在阿里雲ecs服務器當中,為了應對阿里雲的安全檢查,將zookeeper配置了acl權限驗證。

結果在ds啟動的時候,提示錯誤KeeperErrorCode = NoAuth,告訴我無法在zk中創建/dolphinscheduler路徑,

 

解決辦法:

1、進入zkCli客戶端
sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh
2、獲取auth用戶
addauth digest zk_admin:RexelZkAdmin#982
3、手動創建路徑
create /dolphinscheduler

 

【小插曲2】

問題描述:

執行了install.sh之后,發現3個節點當中,只有1個節點啟動成功了,另外兩個節點的jps進程中沒有ds的進程。

 

問題原因:

是因為我太過於心急了,對另外兩個節點沒有創建ds的用戶。按照官網提示的操作,創建用戶即可。

# 創建用戶需使用root登錄,設置部署用戶名,請自行修改,后面以dolphinscheduler為例
useradd dolphinscheduler;

# 設置用戶密碼,請自行修改,后面以dolphinscheduler123為例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

 

 

【小插曲3】

問題描述:

web頁面啟動不起來

 

解決辦法:

打開以下兩個配置項,都使用默認值就可以。

文件:master.properties,配置項:master.listen.port=5678

文件:worker.properties,配置項:worker.listen.port: 1234

 

--END--

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM