HUE配置文件hue.ini 的sqoop模塊詳解(圖文詳解)(分HA集群和非HA集群)


 

 

 

不多說,直接上干貨!

  我的集群機器情況是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安裝目錄是在/home/hadoop/app下。

 

  官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。

 

 Hue版本:hue-3.9.0-cdh5.5.4
 需要編譯才能使用(聯網)


 說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里准備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。

大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

 

 

 

  一、默認的sqoop配置文件

 

 

 

 

 

 

二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的sqoop模塊)

   我的集群是bigdatamaster、bigdataslave1和bigdataslave2組成的3節點非HA集群。

   對於sqoop的安裝,我一般是只安裝在bigdatamaster就好。如同跟hive一樣也是只安裝在bigdatamaster上。

###########################################################################
# Settings to configure Sqoop2
###########################################################################

[sqoop]
  # For autocompletion, fill out the librdbms section.

  # Sqoop server URL
  server_url=http://bigdatamaster:12000/sqoop

  # Path to configuration directory
  sqoop_conf_dir=/home/hadoop/app/sqoop/server/conf

 

 

 

 

 

 

 

 

三、以下是跟我機器集群匹配的配置文件(HA集群下怎么配置Hue的sqoop模塊)

   跟非HA集群的配法是一樣的。

 

 

 

 

 

 

 

 

 

   

  大家要注意,Hue里是只支持Sqoop2版本,對於Sqoop1和Sqoop2版本,直接去官網看就得了。

 

 

 

 

 

  因為,sqoop1 和 sqoop2還是不同的

 

 

  同時,兩者的環境變量也不一樣。

 

   這里不多說,大家去看我的這篇博客

sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

 

 

 

 

Sqoop2全部配置好之后,按照如下的順序來

  1、啟動Sqoop2的server(我這里做個最簡單的,在bigdatamaster上)。啟動sqoop服務

$SQOOP_HOME/bin/sqoop.sh server start  

 

[hadoop@bigdatamaster hadoop]$ cd $SQOOP_HOME
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh server start Sqoop home directory: /home/hadoop/app/sqoop Setting SQOOP_HTTP_PORT: 12000 Setting SQOOP_ADMIN_PORT: 12001 Using CATALINA_OPTS: Adding to CATALINA_OPTS: -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001 Using CATALINA_BASE: /home/hadoop/app/sqoop/server Using CATALINA_HOME: /home/hadoop/app/sqoop/server Using CATALINA_TMPDIR: /home/hadoop/app/sqoop/server/temp Using JRE_HOME: /home/hadoop/app/jdk Using CLASSPATH: /home/hadoop/app/sqoop/server/bin/bootstrap.jar [hadoop@bigdatamaster sqoop]$ jps 2200 QuorumPeerMain 2339 NameNode 2973 Bootstrap 2984 Jps 2495 SecondaryNameNode 2669 ResourceManager [hadoop@bigdatamaster sqoop]$ 

  jsp命令看到Bootstrap進程。

 

 

 

  2、啟動Sqoop2的client(我這里做個最簡單的,在bigdatamaster上),進入客戶端交互模式。進入sqoop控制台  

$SQOOP_HOME/bin/sqoop.sh client  

 

[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh client Sqoop home directory: /home/hadoop/app/sqoop May 07, 2017 8:26:47 PM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 

 

 

 

 

 

 

  3、在Sqoop2的client連接Sqoop2的server 。 連接服務器  

sqoop:000> set server --host bigdatamaster  --port 12000  --webapp sqoop

sqoop:000> set server --host localhost  --port 12000  --webapp sqoop
sqoop:000> show version --all 

  當看到show version -all正確的顯示 就說明了Sqoop2的client連接上了Sqoop2的服務器。

 

  show version --all            顯示服務器、客戶端的版本信息,如果server顯示錯誤,

    重啟一下 server./sqoop.sh server stop  

 

   

 

 

 

 

 

 

 

歡迎大家,加入我的微信公眾號:大數據躺過的坑        人工智能躺過的坑
 
 
 

同時,大家可以關注我的個人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
  目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲

 

      對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM