碼上歡樂
相關內容    簡體    繁體

HUE配置文件hue.ini 的hdfs_clusters模塊詳解（圖文詳解）（分HA集群和非HA集群）

本文轉載自   查看原文   2017-05-06 17:05   3690    Cloudera Hue（可視化分析利器）的概念學習系列和部署搭建

 

 

不多說，直接上干貨！

　　我的集群機器情況是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安裝目錄是在/home/hadoop/app下。

 

　　官方建議在master機器上安裝Hue，我這里也不例外。安裝在bigdatamaster機器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4
 需要編譯才能使用（聯網）


　說給大家的話：大家電腦的配置好的話，一定要安裝cloudera manager。畢竟是一家人的。
同時，我也親身經歷過，會有部分組件版本出現問題安裝起來要個大半天時間去排除，做好心里准備。廢話不多說，因為我目前讀研，自己筆記本電腦最大8G，只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的！ 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。

大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大數據集群（圖文分五大步詳解）（博主強烈推薦）

Ambari安裝搭建部署大數據集群（圖文分五大步詳解）（博主強烈推薦）

 

 

 

 

 

　　說在前面的話：

　　[hadoop]這塊，配置如下  （注意官網說，WebHdfs  或者  HttpFS）（一般用WebHdfs，那是因為非HA集群。如果是HA集群，則必須還要配置HttpFS）

 

 

配置 WebHDFS 或者 HttpFS

Hue 可以通過下面兩種方式訪問 Hdfs 中的數據：

  • WebHDFS：提供高速的數據傳輸，客戶端直接和 DataNode 交互。
  • HttpFS：一個代理服務，方便與集群外部的系統集成。

　　兩者都支持 HTTP REST API，但是 Hue 只能配置其中一種方式；對於 HDFS HA部署方式，只能使用 HttpFS。

 

 

  • 1、對於 WebHDFS 方式，在每個節點上的 hdfs-site.xml 文件添加如下配置並重啟服務：
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
  • 2、 配置 Hue 為其他用戶和組的代理用戶。對於 WebHDFS 方式，在 core-site.xml 添加：
<!-- Hue WebHDFS proxy user setting --> <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hue.groups</name> <value>*</value> </property>

對於 HttpFS 方式，在 /etc/hadoop-httpfs/conf/httpfs-site.xml 中添加下面配置並重啟 HttpFS 進程：

<!-- Hue HttpFS proxy user setting --> <property> <name>httpfs.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>httpfs.proxyuser.hue.groups</name> <value>*</value> </property>

對於 HttpFS 方式，在 core-site.xml 中添加下面配置並重啟 hadoop 服務：

<property> <name>hadoop.proxyuser.httpfs.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.httpfs.groups</name> <value>*</value> </property>
  • 3、修改 /etc/hue/conf/hue.ini 中 hadoop.hdfs_clusters.default.webhdfs_url 屬性。

對於 WebHDFS：

webhdfs_url=http://master:50070/webhdfs/v1/

對於 HttpFS：

webhdfs_url=http://master:14000/webhdfs/v1/






 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

 

 

 

　　首先，這是官網提供的參考步驟

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

 

 

 

 

 

 

　　一、以下是默認的配置文件

# Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs

    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://localhost:8020

      # NameNode logical name.
      ## logical_name=

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      ## webhdfs_url=http://localhost:50070/webhdfs/v1

      # Change this if your HDFS cluster is Kerberos-secured
      ## security_enabled=false

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs
      # have to be verified against certificate authority
      ## ssl_cert_ca_verify=True

      # Directory of the Hadoop configuration
      ## hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/etc/hadoop/conf'

 

 

 

 

　　二、以下是跟我機器集群匹配的配置文件（非HA集群下怎么配置Hue的hdfs_clusters模塊）

 

 

 

 

　　 最終我的非HA配置信息如下

# Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs

    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://bigdatamaster:9000

      # NameNode logical name.
      ## logical_name=

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      webhdfs_url=http://bigdatamaster:50070/webhdfs/v1

      # Change this if your HDFS cluster is Kerberos-secured
      ## security_enabled=false

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs
      # have to be verified against certificate authority
      ## ssl_cert_ca_verify=True

      # Directory of the Hadoop configuration
      hadoop_conf_dir=/home/hadoop/app/hadoop/etc/hadoop/conf

 

 

 

 

 

 

 

     三、以下是跟我機器集群匹配的配置文件（HA集群下怎么配置Hue的hdfs_clusters模塊）

 hadoop-2.6.0.tar.gz的集群搭建（5節點）

　　注意，在hdfs_clusters模塊里，若要配置HA的話，則必須是要用到HttpFs。請看Hue的官網配置例子

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

　　

　　注意： 在$HADOOP_HOME/etc/hadoop/下的httpfs-site.xml。（djt11、djt12、djt12、djt14和djt15都需要配置）

 　　先配置好如下

<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>

 

 

同時，還要配置WebHdfs，別忘記啦！

　　在core-site.xml 和 hdfs-site.xml下，添加如下

 

 

　　core-site.xml下

復制代碼 
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>
復制代碼

 

 

 

 

 　　hdfs-site.xml下

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

 

 

 

 

 

 

 

 

 

 

 　　hdfs_cluster模塊

[[hdfs_clusters]]
    # HA support by using HttpFs

    [[[default]]]
      # Enter the filesystem uri
      ##--Customer Configuration --##
      fs_defaultfs=hdfs://cluster1

      # NameNode logical name.
      logical_name=cluster1

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      ##--Customer Configuration --##
      webhdfs_url=http://djt12:14000/webhdfs/v1

      # Change this if your HDFS cluster is Kerberos-secured
      ## security_enabled=false

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs
      # have to be verified against certificate authority
      ## ssl_cert_ca_verify=True

      # Directory of the Hadoop configuration
      hadoop_conf_dir=/home/hadoop/app/hadoop/etc/hadoop/conf

 　　成功!

 

 

　　同時，大家還要安裝好HttpFS，怎么安裝，請移步我下面的博客

CentOS和Ubuntu系統下安裝 HttpFS （助推Hue部署搭建）

　　因為配置了httpfs，hue才能去操作hdfs中的數據。

 

 

 

 

 

 

 

 

 

　　　　或者，比如，我的HA集群是如下

 

 

 

 

 

 

 

 

 

　　hue.ini文件

 

 

 

 

 　　在hadoop的core-site.xml下面加上

 

<property>
        <name>hadoop.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hue.groups</name>
        <value>*</value>
    </property>

 

　　然后，把這修改的core-site.xml分發到每台機器上。

 

 

 

　　分發完之后我們重啟一下服務

 

 

 

 

 

 　　

　　把hue也啟動一下

 

 

 

 

　　再次進入Hue的可視化界面

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

參考

http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/

http://gethue.com/how-to-configure-hue-in-your-hadoop-cluster/

http://cloudera.github.io/hue/docs-3.8.0/manual.html#_hadoop_configuration

http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.2/bk_installing_manually_book/content/rpm-chap-hue-5.html

 

 

 

 

 

 

 

 

 

 

 

歡迎大家，加入我的微信公眾號：大數據躺過的坑        人工智能躺過的坑
 
 
 

同時，大家可以關注我的個人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和個人學習工作的精華干貨知識，一切來於互聯網，反饋回互聯網。
　　目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里，每天必須有收獲

 

      對應本平台的討論和答疑QQ群：大數據和人工智能躺過的坑（總群）（161156071） 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 HUE配置文件hue.ini 的yarn_clusters模塊詳解（圖文詳解）（分HA集群和非HA集群） HUE配置文件hue.ini 的sqoop模塊詳解（圖文詳解）（分HA集群和非HA集群） HUE配置文件hue.ini 的zookeeper模塊詳解（圖文詳解）（分HA集群） HUE配置文件hue.ini 的impala模塊詳解（圖文詳解）（分HA集群） HUE配置文件hue.ini 的liboozie和oozie模塊詳解（圖文詳解）（分HA集群） HUE配置文件hue.ini 的Spark模塊詳解（圖文詳解）（分HA集群和HA集群） HUE配置文件hue.ini 的database模塊詳解（包含qlite、mysql、 psql、和oracle）（圖文詳解）（分HA集群和非HA集群） Hue的全局配置文件hue.ini（圖文詳解） Hadoop的配置文件設置(非HDFS HA) storm的3節點集群詳細啟動步驟（非HA和HA）（圖文詳解）
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM