kylin 系列（一）安裝部署
一、環境說明
1.1 版本選擇
cdh 版本下載地址：http://archive.cloudera.com/cdh5/cdh/5/
| 軟件名稱 | 版本 |
|---|---|
| JDK | 1.8 |
| HADOOP | Hadoop2.6.0-cdh5.10 |
| ZOOKEERER | 3.4.5 |
| HBASE | Hbase1.2.0-cdh5.10 |
| HIVE | Hive1.2.0-cdh5.10 |
| KAFKA | Kafka0.10 |
| KYLIN | Kylin2.3.2 |
1.2 節點准備
| 節點 | 說明 |
|---|---|
| CDH-01 | |
| CDH-02 | |
| CDH-03 |
二、Kylin 安裝與配置
2.1 軟件下載
Kylin 下載地址：https://archive.apache.org/dist/kylin/
2.2 解壓
tar -zxvf apache-kylin-2.3.2
ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
2.3 配置環境變量
export HADOOP_HOME=/opt/bigdata/hadoop
export HBASE_HOME=/opt/bigdata/hbase
export HIVE_HOME=/opt/bigdata/hive
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export KAFKA_HOME=/opt/bigdata/kafka
export KYLIN_HOME=/opt/bigdata/kylin
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin
2.4 kylin 配置文件
vi kylin.properties
# 配置節點類型(kylin 主節點模式為 all，從節點的模式為 query)
# 注意主從節點類型不一致
kylin.server.mode=all
# kylin 集群節點配置
kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
# 定義 kylin 用於 MRjobs 的 job.jar 和 hbase 的協處理 jar，用於提升性能(添加項)
kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
三、Kylin 啟動
啟動 Kylin 前需要啟動 Hadoop、Zookeeper、Hbase、Hive 等服務。
3.1 依賴檢查
# 執行下面的檢查命令會在 hdfs 上創建 kylin 目錄
./check-env.sh
# 檢查數據源 hive 和數據存儲 hbase
./find-hive-dependency.sh
./find-hbase-dependency.sh
3.2 啟動 kylin 服務
# 每個節點都需要單獨啟動
bin/kylin.sh start
每個節點都可以查看對應的 WEB UI：http://ip:7070/kylin，默認的用戶名和密碼： admin/kylin
四、Kylin 測試
-
啟動 kylin 之后運行 sample.sh 腳本(任意集群節點運行都可以)
./sample.sh
導入 sample 數據，模型，cube 成功之后系統會提示重啟 kylin 或重新加載元數據讓數據生效
每天用心記錄一點點。內容也許不重要，但習慣很重要！