sqoop導入數據到hive---2

1.hive-table

從mysql導入數據到hive表中，可以使用--hive-table來指定hive的表名，不指定hive表名，則hive表名與mysql表名保持一致。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by "\n" -m 1 --hive-table person_mysql

hive中的表結構是：

hive> show create table person_mysql;
OK
CREATE TABLE `person_mysql`(
  `id` int, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/07/26 15:13:48'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '|' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='true', 
  'numFiles'='1', 
  'totalSize'='18', 
  'transient_lastDdlTime'='1469517213')
Time taken: 0.21 seconds, Fetched: 18 row(s)

 

2.create-hive-table工具

create-hive-table工具是依據mysql中的表定義在hive中創建一個表

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'

 

 只在hive中創建了表，沒有把數據進行導入，所以hive表中是沒有數據的：

hive> select * from person_mysql_222;
OK
Time taken: 0.299 seconds
hive> show create table person_mysql_222;
OK
CREATE TABLE `person_mysql_222`(
  `id` int, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/07/26 15:22:14'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '|' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222'
TBLPROPERTIES (
  'transient_lastDdlTime'='1469517719')
Time taken: 0.22 seconds, Fetched: 15 row(s)

 

3.import-all-tables工具

將數據庫中所有的表都導入到hive中

目前mysql中有person、sun兩張表

sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1

 

這樣在hive中也生成了兩張表，分別是person和sun.

 

在這個語句中也可以指定hive-table來指定一個表名，這樣多個表的數據就會導入到一個hive表中了。

 sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person