livy安裝與部屬

學一個東西，首先看它的官網

http://livy.incubator.apache.org/

Livy支持從Web /移動應用程序提供程序化，容錯，多租戶提交Spark作業（無需Spark客戶端）。因此，多個用戶可以同時可靠地與您的Spark集群進行交互。

 

我們實際環境主要為hue和griffin提交spark任務。因為hue為多租戶模式，所以需要通過hdfs用戶部署啟動livy，我也不知道為什么，emm

官方快速安裝文檔如下：

http://livy.incubator.apache.org/get-started/

在實際配置中的環境參數如下：

環境：redhat7.3  CDH5.15.1   hdfs用戶安裝  spark2.3基於yarn模式

CDH5.15.1中spark2.3的安裝目錄和Hadoop目錄如下

HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2

 

一、解壓livy
cd  /cslc/dip001/
unzip xxx.zip
cd  $LIVY_HOME
mkdir log
mkdir tmp        
cd conf/

cp livy-env.sh.template livy-env.sh
cp spark-blacklist.conf.template spark-blacklist.conf
cp livy.conf.template livy.conf
二、修改配置文件
vim livy.conf

livy.spark.master = yarn
livy.spark.deploy-mode = cluster
livy.environment = production    
livy.impersonation.enabled = true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/cslc/dip001/livy-0.5.0-incubating-bin/tmp


vim livy-env.sh

export JAVA_HOME=/opt/cslc/jdk1.8.0_151
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark2/conf
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/cslc/dip001/livy-0.5.0-incubating-bin/log
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"
三、啟動：
使用hdfs用戶啟動 ：
/opt/cloudera/livy-0.5.0-incubating-bin/bin/livy-server start