運行sqoop2未能啟動

Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。

 

1、下載sqoop2的某個版本sqoop-1.99.6-bin-hadoop200.tar

2、解壓縮至/usr/local/sqoop 

3、修改文件server/conf中的catalina.properties，修改其中的common.loader屬性，

將hadoop安裝文件夾下share文件夾中的所有jar包全部引入。

即

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar,
/usr/local/hadoop/share/hadoop/common/*.jar,
/usr/local/hadoop/share/hadoop/hdfs/*.jar,
/usr/local/hadoop/share/hadoop/httpfs/*.jar,
/usr/local/hadoop/share/hadoop/kms/*.jar/,
/usr/local/hadoop/share/hadoop/mapreduce/*.jar,
/usr/local/hadoop/share/hadoop/tools/*.jar,
/usr/local/hadoop/share/hadoop/yarn/*.jar

 

4、修改環境變量，在~/.bashrc中增加

export SQOOP_HOME=/usr/local/sqoop

export  PATH=$SQOOP_HOME/bin:$PATH

export CATALINA_HOME=$SQOOP_HOME/server

export LOGDIR=$SQOOP_HOME/logs

 

5、運行sqoop2-tool verify檢查配置文件是否正確。（我運行的時候提示了一堆錯誤，沒仔細看）

 

6、啟動sqoop server：sqoop2-server start

7、啟動sqoop client,進入shell環境：sqoop2-shell

Client連接到服務端：set server --host 127.0.0.1 --port 12000 --webapp sqoop

可用瀏覽器在12000端口查看。

 

server未能運行成功，12000端口無法查看。

 

PS：問題已經解決了，用sqoop1解決的，但是坑爹的是，sqoop號稱支持postgresql，但實際上支持並不完全，sqoop中不支持數據庫模式，所以就無法訪問pg數據庫中的具體模式，要把pg中的數據導出來，只能把數據庫表移動到public模式里面，訪問這個模式里的表不需要填寫模式名。