sqoop1.9.7安裝和使用


安裝
1、下載sqoop1.9.7。地址: http://www.apache.org/dyn/closer.lua/sqoop/1.99.7
2、解壓sqoop ,並配置環境變量 ~/.bash_profile
export SQOOP_HOME=/home/sqoop-1.99.7-bin-hadoop200
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs/
export PATH=$PATH:$SQOOP_HOME/bin
export $HADOOP_HOME=/home/hadoop-2
##一定要配置HADOOP_HOME 且名字不能改
3、進入$SQOOP_HOME/conf目錄,修改sqoop.properties,修改為hadoop的conf目錄地址
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop-2.6.1/etc/hadoop/
4、配置Hadoop代理訪問
因為sqoop訪問Hadoop的MapReduce使用的是代理的方式,必須在Hadoop中配置所接受的proxy用戶和組。找到Hadoop的core-site.xml配置文件(本例是$HADOOP_HOME/etc/hadoop/core-site.xml):
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
修改root為集群下的用戶
5、需要安裝JDBC驅動,將JDBC驅動放入server/lib/目錄下.
6、需要在Hadoop的yarn-site.xml 這個配置文件中增加以下屬性
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
修改了yarn-site.xml后重啟HDFS即可。
如果,不加上面的屬性,會產生什么問題呢?
可能在數據遷移的過程中出現“Aggregation is not enabled”的問題.

7、修改配置文件 mapred-site.xml 

  1. <property>  
  2.    <name>mapreduce.jobhistory.address</name>  
  3.    <!-- 配置實際的主機名和端口-->  
  4.    <value>master:10020</value>  
  5. </property>

  並且啟動MapReduce JobHistory Server服務:

  在namenode上執行命令:

 

[python]  view plain  copy
 
  1. sbin/mr-jobhistory-daemon.sh start historyserver 

  即可在http://node1:19888查看運行情況

使用

1、啟動sqoop服務。>sqoop.sh server start
2、進入sqoop客戶端。>sqoop2-shell
3、打印詳細錯誤信息。sqoop:000>set option --name verbose --value true
4、設置連接的服務器。sqoop:000>set server --host ubuntu02
5、驗證是否已經連上。sqoop:000> show version --all
6、創建一個job的步驟(以mysql導出到hdfs為例)
1>create link -connector generic-jdbc-connector
2>create link -connector dfs-connector
3>create job -f 'mysqlName' -t 'hdfsName'
4>start job -name 'jobName'
7、常用命令:show connector,show link --all,show job,create link --connector xxxxx,create job -f 'xx' -t 'xx',start job -name 'xx'
8、在create link時注意Identifier enclose: 選項值為空格
9、create link 實例
-------------------------------------------
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String: jdbc:mysql://ubuntu02:3306/mytest
Username: root
Password:
JDBC Connection Properties:
protocol = tcp
------------------hdfs----------------------
HDFS URI: hdfs://ns1/
Hadoop conf directory: /opt/hadoop-2.6.0/etc/hadoop


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM