kudu集群高可用搭建


 

 

首先咱得有KUDU安裝包

這里就不提供直接下載地址了(因為有5G,我 的服務器網卡只有4M,你們下的很慢)

這里使用的是CDH版本

官方下載地址http://archive.cloudera.com/cdh5/

 

我這里有3個節點node01,node02,node03。這里上傳到node03中

這里與imapa做整合了,綠色的為整合部分可以不看

首先上傳到/export/data/ 下(沒有的同學請創建mkdir /export/data)

到此目錄下

cd /export/data

解壓在當前目錄

tar -zxvf cdh5.14.0-centos6.tar.gz 

制作本地yum源(方便duku自己去尋找)

yum  -y install httpd 

安裝完成

啟動

service httpd start

 

進入

cd /etc/yum.repos.d

  

 

該安裝目錄下,並且打開localimp.repo

vim localimp.repo

 

修改為

 

 

 

 

創建apache httpd的讀取連接

ln -s /export/data/cdh/5.14.0 /var/www/html/5.14fuckKudu(配置外網訪問路徑)

 去var/www/html查看

cd /var/www/html

ll

 

 

訪問http://node03/5.14fuckKudu

解釋:ln -s 建立軟連接,想當於5.14.0與后面的fuckKudu關聯

localimp中的url會尋找/var/www/html下是否喲fuckKudu,尋找到及可以訪問,不配置也能訪問5.14fuckKudu,這個和impala右關

如果var/www/html不寫路徑,默認取5.14.0(磁盤被映射文件名)

impala分發到其它節點node02,node03

cd /etc/yum.repos.d/
scp localimp.repo  node02:$PWD 
scp localimp.repo  node01:$PWD

3個節點安裝kudu

 yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel

成功

配置(修改3台)

進入/etc/kudu/conf

cd /etc/kudu/conf

master日志

vim /etc/default/kudu-master 

  修改成自己的節點映射或ip(這里是節點映射)

修改master

vim /etc/kudu/conf/master.gflagfile

添加

--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/master
--fs_data_dirs=/export/servers/kudu/master
--master_addresses=node:7051,node02:7051,node03:7051

  

 

 

 每台都要改(改成當前節點的)

tserver日志

修改rpc地址為自己的節點

vim  /etc/default/kudu-tserver

 

修改tserver

vim /etc/kudu/conf/tserver.gflagfile

  去掉默認的

添加

--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/tserver
--fs_data_dirs=/export/servers/kudu/tserver
--tserver_master_addrs=node01:7051,node02:7051,node03:7051

 

 

因為沒有這個dir文件夾,所以需要創建

在三台節點上創建

mkdir -p /export/servers/kudu/tserver
mkdir -p /export/servers/kudu/master

kudu的默認權限是kudu用戶組。所以需要改變權限為kudu

chown -R kudu:kudu kudu/

  

 

 kudu非常依賴時間同步,為了確保萬一,進行時間同步

/etc/init.d/ntpd restart

 

 啟動測試

sudo service kudu-master start

失敗,去日志查看

vim /var/log/kudu/此日志文件名

 

 發現master配置疑似多個了空格

vim /etc/kudu/conf/master.gflagfile 

刪除空格

重新測試sudo service kudu-master start

還是FAILED

查看日志

發現是更改kudu后,但是沒有加-R,所以文件夾的內部文件夾還是root

重寫chown -R kudu:kudu kudu/

重新測試

發現還是失敗,查看日志,不一樣了,說明之前的問題解決了,這是個新問題

媽的,端口無效,我居然寫了個::端口

修改vim /etc/default/kudu-master

重新測試sudo service kudu-master start

查看日志

原因是我的node01時間不一致,時間修改不了,我去問問那些10年工作經驗的大神們.

十年開發經驗的大神改了允許默認修改,並且映射了其它機器的時間,現在在來重試一下

啟動

service kudu-master start

失敗,所有節點全部先啟動service ntpd start 

然后在啟動kudu-master start 成功

啟動sudo service kudu-tserver start

需要啟動3台節點

訪問頁面

 

kudu很不穩定,容易掉(依賴ntpd),開發建議不用,優點高可用,OPAL計算,天生和imapa結合。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM