首先咱得有KUDU安裝包
這里就不提供直接下載地址了(因為有5G,我 的服務器網卡只有4M,你們下的很慢)
這里使用的是CDH版本
官方下載地址http://archive.cloudera.com/cdh5/
我這里有3個節點node01,node02,node03。這里上傳到node03中
這里與imapa做整合了,綠色的為整合部分可以不看
首先上傳到/export/data/ 下(沒有的同學請創建mkdir /export/data)
到此目錄下
cd /export/data
解壓在當前目錄
tar -zxvf cdh5.14.0-centos6.tar.gz
制作本地yum源(方便duku自己去尋找)
yum -y install httpd
安裝完成
啟動
service httpd start
進入
cd /etc/yum.repos.d
該安裝目錄下,並且打開localimp.repo
vim localimp.repo
修改為
創建apache httpd的讀取連接
ln -s /export/data/cdh/5.14.0 /var/www/html/5.14fuckKudu(配置外網訪問路徑)
去var/www/html查看
cd /var/www/html ll
訪問http://node03/5.14fuckKudu
解釋:ln -s 建立軟連接,想當於5.14.0與后面的fuckKudu關聯
localimp中的url會尋找/var/www/html下是否喲fuckKudu,尋找到及可以訪問,不配置也能訪問5.14fuckKudu,這個和impala右關
如果var/www/html不寫路徑,默認取5.14.0(磁盤被映射文件名)
impala分發到其它節點node02,node03
cd /etc/yum.repos.d/
scp localimp.repo node02:$PWD
scp localimp.repo node01:$PWD
3個節點安裝kudu
yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel
成功
配置(修改3台)
進入/etc/kudu/conf
cd /etc/kudu/conf
master日志
vim /etc/default/kudu-master
修改成自己的節點映射或ip(這里是節點映射)
修改master
vim /etc/kudu/conf/master.gflagfile
添加
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/master
--fs_data_dirs=/export/servers/kudu/master
--master_addresses=node:7051,node02:7051,node03:7051
每台都要改(改成當前節點的)
tserver日志
修改rpc地址為自己的節點
vim /etc/default/kudu-tserver
修改tserver
vim /etc/kudu/conf/tserver.gflagfile
去掉默認的
添加
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/tserver
--fs_data_dirs=/export/servers/kudu/tserver
--tserver_master_addrs=node01:7051,node02:7051,node03:7051
因為沒有這個dir文件夾,所以需要創建
在三台節點上創建
mkdir -p /export/servers/kudu/tserver
mkdir -p /export/servers/kudu/master
kudu的默認權限是kudu用戶組。所以需要改變權限為kudu
chown -R kudu:kudu kudu/
kudu非常依賴時間同步,為了確保萬一,進行時間同步
/etc/init.d/ntpd restart
啟動測試
sudo service kudu-master start
失敗,去日志查看
vim /var/log/kudu/此日志文件名
發現master配置疑似多個了空格
vim /etc/kudu/conf/master.gflagfile
刪除空格
重新測試sudo service kudu-master start
還是FAILED
查看日志
發現是更改kudu后,但是沒有加-R,所以文件夾的內部文件夾還是root
重寫chown -R kudu:kudu kudu/
重新測試
發現還是失敗,查看日志,不一樣了,說明之前的問題解決了,這是個新問題
媽的,端口無效,我居然寫了個::端口
修改vim /etc/default/kudu-master
重新測試sudo service kudu-master start
查看日志
原因是我的node01時間不一致,時間修改不了,我去問問那些10年工作經驗的大神們.
十年開發經驗的大神改了允許默認修改,並且映射了其它機器的時間,現在在來重試一下
啟動
service kudu-master start
失敗,所有節點全部先啟動service ntpd start
然后在啟動kudu-master start 成功
啟動sudo service kudu-tserver start
需要啟動3台節點
訪問頁面
kudu很不穩定,容易掉(依賴ntpd),開發建議不用,優點高可用,OPAL計算,天生和imapa結合。