clickhouse 服務器意外重啟,磁盤重新掛載,zookeeper 啟動各種緊急救援


各種意外

各個依賴clickhouse的應用程序都在瘋狂報錯,已經造成生產事故,啟動緊急救援;
重新啟動 clickhouse 失敗,排查原因發現clickhouse所在的磁盤 目錄不可以訪問,再排查發現磁盤沒有掛載
掛載磁盤后繼續重新啟動,依然重啟失敗,經排查發現 zookeeper 鏈接被拒絕,重新啟動 zookeeper;
再次啟動clickhouse,成功!

正確的處理方式

1、檢查 clickhouse依賴的zookeeper是否啟動
2、啟動 clickhouse

把這次緊急救援用到的命令匯總一下

service clickhouse-server restart

df -h
fdisk -l

  掛載磁盤

mount -t ext3 /dev/vdb1 /epdata0828
懷疑是防火牆的問題:
firewall-cmd --list-port 端口開發正常

clickhouse-client 這個命令鏈接不拒絕,就知道事情嚴重了
service clickhouse-server restart 失敗
看日志:2020.10.16 09:29:06.551346 [ 8330 ] {} Application: Coordination::Exception: All connection tries failed while connecting to ZooKeeper. Addresses:

找到zookeeper目錄:
./zkServer.sh start


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM