不多說,直接上干貨!
我的集群機器情況是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)
然后,安裝目錄是在/home/hadoop/app下。
官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。
Hue版本:hue-3.9.0-cdh5.5.4
需要編譯才能使用(聯網)
說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里准備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。
大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger
Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl
一、默認的sqoop配置文件
二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的sqoop模塊)
我的集群是bigdatamaster、bigdataslave1和bigdataslave2組成的3節點非HA集群。
對於sqoop的安裝,我一般是只安裝在bigdatamaster就好。如同跟hive一樣也是只安裝在bigdatamaster上。
########################################################################### # Settings to configure Sqoop2 ########################################################################### [sqoop] # For autocompletion, fill out the librdbms section. # Sqoop server URL server_url=http://bigdatamaster:12000/sqoop # Path to configuration directory sqoop_conf_dir=/home/hadoop/app/sqoop/server/conf
三、以下是跟我機器集群匹配的配置文件(HA集群下怎么配置Hue的sqoop模塊)
跟非HA集群的配法是一樣的。
大家要注意,Hue里是只支持Sqoop2版本,對於Sqoop1和Sqoop2版本,直接去官網看就得了。
因為,sqoop1 和 sqoop2還是不同的
同時,兩者的環境變量也不一樣。
這里不多說,大家去看我的這篇博客
sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建
Sqoop2全部配置好之后,按照如下的順序來
1、啟動Sqoop2的server(我這里做個最簡單的,在bigdatamaster上)。啟動sqoop服務
$SQOOP_HOME/bin/sqoop.sh server start
[hadoop@bigdatamaster hadoop]$ cd $SQOOP_HOME
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh server start Sqoop home directory: /home/hadoop/app/sqoop Setting SQOOP_HTTP_PORT: 12000 Setting SQOOP_ADMIN_PORT: 12001 Using CATALINA_OPTS: Adding to CATALINA_OPTS: -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001 Using CATALINA_BASE: /home/hadoop/app/sqoop/server Using CATALINA_HOME: /home/hadoop/app/sqoop/server Using CATALINA_TMPDIR: /home/hadoop/app/sqoop/server/temp Using JRE_HOME: /home/hadoop/app/jdk Using CLASSPATH: /home/hadoop/app/sqoop/server/bin/bootstrap.jar [hadoop@bigdatamaster sqoop]$ jps 2200 QuorumPeerMain 2339 NameNode 2973 Bootstrap 2984 Jps 2495 SecondaryNameNode 2669 ResourceManager [hadoop@bigdatamaster sqoop]$
jsp命令看到Bootstrap進程。
2、啟動Sqoop2的client(我這里做個最簡單的,在bigdatamaster上),進入客戶端交互模式。進入sqoop控制台
$SQOOP_HOME/bin/sqoop.sh client
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop [hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh client Sqoop home directory: /home/hadoop/app/sqoop May 07, 2017 8:26:47 PM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000>
3、在Sqoop2的client連接Sqoop2的server 。 連接服務器
sqoop:000> set server --host bigdatamaster --port 12000 --webapp sqoop
sqoop:000> set server --host localhost --port 12000 --webapp sqoop
sqoop:000> show version --all
當看到show version -all正確的顯示 就說明了Sqoop2的client連接上了Sqoop2的服務器。
show version --all 顯示服務器、客戶端的版本信息,如果server顯示錯誤,
重啟一下 server./sqoop.sh server stop
同時,大家可以關注我的個人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/
詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html
人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲
對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071)