Talend 將Oracle中數據導入到hive中,根據系統時間設置hive分區字段

首先,概覽下任務圖:

流程是,先用tHDFSDelete將hdfs上的文件刪除掉，然后將oracle中的機構表中的數據導入到HDFS中；建立hive連接-》hive建表-》tJava獲取系統時間-》tHiveLoad將hdfs上的文件導入到hive表中。

下面介紹每一個組件的設置：

tHDFSDelete_1:

機構：

tHDFSOutput_1:

hive:

tHiveCreateTable:

tJava_1:

tHiveLoad_1:

在Context下面建一個內容變量：

這個內容變量riqi, 在tJava_1中賦值，然后在tHiveLoad_1中被使用，這樣插入的分區就是程序運行是的系統日期。

[hive@h1 root]$ hive

Logging initialized using configuration in file:/etc/hive/conf/hive-log4j.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hadoop/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hdp/2.2.0.0-2041/hive/lib/hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
hive> use zhangchao;
OK
Time taken: 1.023 seconds

hive> show tables;
OK
jigou
Time taken: 0.255 seconds, Fetched: 1 row(s)
hive> select * from jigou limit 10;
OK
d64ceb0d-c85a-43ca-a705-c34f4258e938    002     成都高新區西園社區衛生服務中心  CDGXQXYSQW      1       09465203-3              程小川                  oracle.sql.OPAQUE@7cfa3f14      510109          13323434
821028cc-30cc-461b-a197-28d62abc92dc    002     成都高新區中和社區衛生服務中心  CDGXQZHSQW      1       45081237-2              賈朝勇  028-85658497    成都市高新區中和大道3段56號     oracle.sql.OPAQUE@11437a26                    13323434
0a49de29-5562-4951-abf3-829b0cff9692    004     成都高新區肖家河社區衛生服務中心        CDGXQXJHSQ      1                       岳暉    028-85178759    成都高新區肖家河巷8號   oracle.sql.OPAQUE@65085da4   13323434
fd6d1f13-e435-4461-8cdc-d2fe48158c8c    001     高新區合作社區衛生服務中心      GXQHZSQWSF      1       45085201-6              羅洪林  028-87876286    成都高新區合作清江小區清源環街171號     oracle.sql.OPAQUE@83bedce     510109          13323434
94ac1712-199f-4461-9761-5d5ed3410a7f    003     高新區芳草社區衛生服務中心      GXQFCSQWSF      1       003             管理員                  oracle.sql.OPAQUE@1679739b                      13323434
d64ceb0d-c85a-43ca-a705-c34f4258e938    002     成都高新區西園社區衛生服務中心  CDGXQXYSQW      1       09465203-3              程小川                  oracle.sql.OPAQUE@3116aa4b      510109          2015-06-29
821028cc-30cc-461b-a197-28d62abc92dc    002     成都高新區中和社區衛生服務中心  CDGXQZHSQW      1       45081237-2              賈朝勇  028-85658497    成都市高新區中和大道3段56號     oracle.sql.OPAQUE@47063b1a                    2015-06-29
0a49de29-5562-4951-abf3-829b0cff9692    004     成都高新區肖家河社區衛生服務中心        CDGXQXJHSQ      1                       岳暉    028-85178759    成都高新區肖家河巷8號   oracle.sql.OPAQUE@6a124c63   2015-06-29
fd6d1f13-e435-4461-8cdc-d2fe48158c8c    001     高新區合作社區衛生服務中心      GXQHZSQWSF      1       45085201-6              羅洪林  028-87876286    成都高新區合作清江小區清源環街171號     oracle.sql.OPAQUE@57552dfc    510109          2015-06-29
94ac1712-199f-4461-9761-5d5ed3410a7f    003     高新區芳草社區衛生服務中心      GXQFCSQWSF      1       003             管理員                  oracle.sql.OPAQUE@193e282f                      2015-06-29
Time taken: 0.807 seconds, Fetched: 10 row(s)
hive>