mysql 数据sqoop到hive 步骤


1、hive建表

hive是支持分区的,但是这次建表没有写分区。

CREATE TABLE `cuoti_rpt` (
  `COURSE_ID` string,
  `NAME` string,
  `PERIOD` string,
  `USER_ID` string,
  `SUBJECT_ID` string
);

2、opt文件

--connect   连接master节点的数据库。
--username 数据库用户名
--password 数据库密码
--table mysql数据库中的表名
--columns 列名
--hive-overwrite overwrite方式
--hive-table 导入hive的表(最好声明在那个hive数据库)
import
--connect
"jdbc:mysql://master:3306/test"
--username 
root 
--password
123456 
--table
tb_cuoti
--columns 
"COURSE_ID,NAME,PERIOD,USER_ID,SUBJECT_ID"
--hive-import
--hive-overwrite
--hive-table
cuoti.cuoti_rpt
--hive-drop-import-delims
-m
1

 3、执行opt文件

 sqoop --options-file 目录.opt


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM