一、Sqoop概述
Sqoop是一款開源的大數據組件，主要用來在Hadoop(Hive、HBase等)與傳統的數據庫(mysql、postgresql、oracle等)間進行數據的傳遞。
通常數據搬運的組件基本功能：導入與導出。
鑒於Sqoop是大數據技術體系的組件，所以關系型數據庫導入Hadoop存儲系統稱為導入，反過來稱為導出。
Sqoop是一個命令行的組件工具，將導入或導出命令轉換成mapreduce程序來實現。mapreduce中主要是對inputformat和outputformat進行定制。
二、環境部署
在測試Sqoop組件的時候，起碼要具備Hadoop系列、關系型數據、JDK等基礎環境。
鑒於Sqoop是工具類組件，單節點安裝即可。
1、上傳安裝包
安裝包和版本：sqoop-1.4.6
[root@hop01 opt]# tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
[root@hop01 opt]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6
2、修改配置文件
文件位置：sqoop1.4.6/conf
[root@hop01 conf]# pwd
/opt/sqoop1.4.6/conf
[root@hop01 conf]# mv sqoop-env-template.sh sqoop-env.sh
配置內容：涉及hadoop系列常用組件和調度組件zookeeper。
[root@hop01 conf]# vim sqoop-env.sh
# 配置內容
export HADOOP_COMMON_HOME=/opt/hadoop2.7
export HADOOP_MAPRED_HOME=/opt/hadoop2.7
export HIVE_HOME=/opt/hive1.2
export HBASE_HOME=/opt/hbase-1.3.1
export ZOOKEEPER_HOME=/opt/zookeeper3.4
export ZOOCFGDIR=/opt/zookeeper3.4
3、配置環境變量
[root@hop01 opt]# vim /etc/profile
export SQOOP_HOME=/opt/sqoop1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
[root@hop01 opt]# source /etc/profile
4、引入MySQL驅動
[root@hop01 opt]# cp mysql-connector-java-5.1.27-bin.jar sqoop1.4.6/lib/
5、環境檢查
關鍵點：import與export
查看幫助命令，並通過version查看版本號。sqoop是一個基於命令行操作的工具，所以這里的命令下面還要使用。
6、相關環境
此時看下sqoop部署節點中的相關環境，基本都是集群模式：
7、測試MySQL連接
sqoop list-databases --connect jdbc:mysql://hop01:3306/ --username root --password 123456
這里是查看MySQL數據庫的命令，如圖結果打印正確：
三、數據導入案例
1、MySQL數據腳本
CREATE TABLE `tb_user` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵id',
`user_name` varchar(100) DEFAULT NULL COMMENT '用戶名',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用戶表';
INSERT INTO `sq_import`.`tb_user`(`id`, `user_name`) VALUES (1, 'spring');
INSERT INTO `sq_import`.`tb_user`(`id`, `user_name`) VALUES (2, 'c++');
INSERT INTO `sq_import`.`tb_user`(`id`, `user_name`) VALUES (3, 'java');
2、Sqoop導入腳本
指定數據庫的表，全量導入Hadoop系統，注意這里要啟動Hadoop服務；
sqoop import
--connect jdbc:mysql://hop01:3306/sq_import \
--username root \
--password 123456 \
--table tb_user \
--target-dir /hopdir/user/tbuser0 \
-m 1
3、Hadoop查詢
[root@hop01 ~]# hadoop fs -cat /hopdir/user/tbuser0/part-m-00000
4、指定列和條件
查詢的SQL語句中必須帶有WHERE$CONDITIONS：
sqoop import
--connect jdbc:mysql://hop01:3306/sq_import \
--username root \
--password 123456 \
--target-dir /hopdir/user/tbname0 \
--num-mappers 1 \
--query 'select user_name from tb_user where 1=1 and $CONDITIONS;'
查看導出結果：
[root@hop01 ~]# hadoop fs -cat /hopdir/user/tbname0/part-m-00000
5、導入Hive組件
在不指定hive使用的數據庫情況下，默認導入default庫，並且自動創建表名稱：
sqoop import
--connect jdbc:mysql://hop01:3306/sq_import \
--username root \
--password 123456 \
--table tb_user \
--hive-import \
-m 1
執行過程，這里注意觀察sqoop的執行日志即可：
第一步：MySQL的數據導入到HDFS的默認路徑下；
第二步：把臨時目錄中的數據遷移到hive表中；
6、導入HBase組件
當前hbase的集群版本是1.3，需要先創建好表，才能正常執行數據導入：
sqoop import
--connect jdbc:mysql://hop01:3306/sq_import \
--username root \
--password 123456 \
--table tb_user \
--columns "id,user_name" \
--column-family "info" \
--hbase-table tb_user \
--hbase-row-key id \
--split-by id
查看HBase中表數據：
四、數據導出案例
新建一個MySQL數據庫和表，然后把HDFS中的數據導出到MySQL中，這里就使用第一個導入腳本生成的數據即可：
sqoop export
--connect jdbc:mysql://hop01:3306/sq_export \
--username root \
--password 123456 \
--table tb_user \
--num-mappers 1 \
--export-dir /hopdir/user/tbuser0/part-m-00000 \
--num-mappers 1 \
--input-fields-terminated-by ","
再次查看MySQL中數據，記錄完全被導出來，這里,是每個數據字段間的分隔符號，語法規則對照腳本一HDFS數據查詢結果即可。
五、源代碼地址
GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent
閱讀標簽
【Java基礎】【設計模式】【結構與算法】【Linux系統】【數據庫】
【分布式架構】【微服務】【大數據組件】【SpringBoot進階】【Spring&Boot基礎】
