一.Kylin的概述
官方網址：http://kylin.apache.org/cn/
Apache Kylin™是一個開源的分布式分析引擎，提供Hadoop/Spark之上的SQL查詢接口及多維分析（OLAP）能力以支持超大規模數據，最初由eBay Inc. 開發並貢獻至開源社區。它能在亞秒內查詢巨大的Hive表。
二.Kylin的安裝
1.安裝環境准備
1）軟件要求
- Hadoop: 2.7+, 3.1+ (since v2.5)
- Hive: 0.13 - 1.2.1+
- HBase: 1.1+, 2.0 (since v2.5)
- Spark (可選) 2.1.1+
- Kafka (可選) 0.10.0+
- JDK: 1.8+ (since v2.5)
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
2）硬件要求
運行 Kylin 的服務器的最低的配置為 4 core CPU, 16 GB memory 和 100 GB disk。 對於高負載的場景，建議使用 24 core CPU, 64 GB memory 或更高的配置。
3）Hadoop 環境
Kylin 依賴於 Hadoop 集群處理大量的數據集。您需要准備一個配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其他服務的 Hadoop 集群供 Kylin 運行。最常見的是在 Hadoop client machine 上安裝 Kylin，這樣 Kylin 可以通過（hive, hbase, hadoop, 以及其他的）命令行與 Hadoop 進行通信。
Kylin 可以在 Hadoop 集群的任意節點上啟動。方便起見，您可以在 master 節點上運行 Kylin。但為了更好的穩定性，我們建議您將其部署在一個干凈的 Hadoop client 節點上，該節點上 hive, hbase, hadoop, hdfs 命令行已安裝好且 client 配置如（core-site.xml, hive-site.xml, hbase-site.xml, 及其他）也已經合理的配置且其可以自動和其它節點同步。運行 Kylin 的 Linux 賬戶要有訪問 Hadoop 集群的權限，包括 create/write HDFS 文件夾, hive 表, hbase 表 和 提交 MR jobs 的權限。
2.Kylin單機安裝
1）下載
這里下載最新的適用於 HBase 1.x 的 Kylin 2.5.0
[admin@node21 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz
2）解壓
解壓 tar 包
[admin@node21 software]$ tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz -C /opt/module/ [admin@node21 software]$ cd /opt/module/ [admin@node21 module]$ mv apache-kylin-2.5.0-bin-hbase1x kylin-2.5.0-bin-hbase1x
然后配置環境變量 KYLIN_HOME 指向 Kylin 文件夾
[admin@node21 kylin-2.5.0-bin-hbase1x]$ sudo vi /etc/profile export KYLIN_HOME=/opt/module/kylin-2.5.0-bin-hbase1x export PATH=$PATH:$KYLIN_HOME/bin [admin@node21 kylin-2.5.0-bin-hbase1x]$ . /etc/profile
檢查安裝環境,如果環境有任何的問題，它會將打印出詳細的信息。如果沒有 error，意味着環境沒問題。
[admin@node21 kylin-2.5.0-bin-hbase1x]$ ./bin/check-env.sh Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x
3）啟動Kylin
先啟動集群各個服務，然后運行 $KYLIN_HOME/bin/kylin.sh start 腳本來啟動 Kylin，服務器啟動后，您可以通過查看 $KYLIN_HOME/logs/kylin.log 獲得運行時日志。
[admin@node21 kylin-2.5.0-bin-hbase1x]$ ./bin/kylin.sh start Retrieving hadoop conf dir... KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x Retrieving hive dependency... Retrieving hbase dependency... Retrieving hadoop conf dir... Retrieving kafka dependency... Retrieving Spark dependency... ... A new Kylin instance is started by root. To stop it, run 'kylin.sh stop' Check the log at /opt/module/kylin-2.5.0-bin-hbase1x/logs/kylin.log Web UI is at http://<hostname>:7070/kylin-bash-4.1#
4）WebUI查看
- Kylin 啟動后您可以通過瀏覽器 http://hostname:7070/kylin 查看。初始用戶名和密碼是 ADMIN/KYLIN。
- 運行
$KYLIN_HOME/bin/kylin.sh stop腳本，停止 Kylin。
3.Kylin集群安裝