hue通過livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，沒有impala

需求：通過hue訪問hive以及提交spark任務

現狀：hue以及通過sentry實現了對hive的權限管理  

CDH5.15.1

centos7.4

livy-0.5.0-incubating-bin

目標：hue實現scala、pyspark的交互式功能、實現提交python腳本，提交spark jar包到spark 的功能

1、部署安裝livy。《livy安裝與部屬》

2.CDH集成livy

修改 core-site.xml 的群集范圍高級配置代碼段（安全閥）

<property>
    <name>hadoop.proxyuser.livy.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.livy.hosts</name>
    <value>*</value>
</property>

3.hue配置livy連接spark

修改hue_safety_valve.ini 的 Hue 服務高級配置代碼段（安全閥）
[desktop]
app_blacklist=

[spark]
livy_server_host=dip007
livy_server_port=8998
livy_server_session_kind=yarn

[notebook]
show_notebooks=true
enable_batch_execute=true
enable_query_builder=true
enable_query_scheduling=false
[[interpreters]]
[[[hive]]]
      # The name of the snippet.
      name=Hive
      # The backend connection to use to communicate with the server.
      interface=hiveserver2
[[[spark]]]
      name=Scala
      interface=livy
    [[[pyspark]]]
      name=PySpark
      interface=livy
[[[jar]]]
      name=Spark Submit Jar
      interface=livy-batch
    [[[py]]]
      name=Spark Submit Python
      interface=livy-batch
[[[text]]]
      name=Text
      interface=text
[[[spark2]]]
      name=Spark
      interface=oozie
[[[markdown]]]
      name=Markdown
      interface=text
[[[java]]]
      name=Java
      interface=oozie
[[[mapreduce]]]
      name=MapReduce
      interface=oozie
[[[distcp]]]
      name=Distcp
      interface=oozie
[[[shell]]]
      name=Shell
      interface=oozie

遇到的問題：

1.livy總是去連接一個處於stand by 的name node

嘗試：配置hue使用高可用的yarn 無效

嘗試2：之前安裝是基於普通用戶，后來所有安裝后都換成hdfs用戶，解決