最近在执行Hive insert/select语句的过程碰到下面这种类型的异常： 异常1： Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast ...

hive表在创建时候指定存储格式 当insert数据到表时抛出异常 此时查看表结构 可以看到SerDe Library 的格式是LazySimpleSerDe，序列化格式不是orc的,所以抛出异常 这里将表 ...

Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。 今天处理下面的场景时，解决了一些问题，记录下来： flume消费kafka的数据实时写入hdfs，通过创建分区表，t + 1 时，需要看到昨天的数据： 　　 flume 通过snappy 将数据写入hdfs ...

创建普通临时表： create table if not exists test_orc_tmp( name string, gender string, cnt BIGINT )row format delimited fields ...

1.概述 　　在存储业务数据的时候，随着业务的增长，Hive 表存储在 HDFS 的上的数据会随时间的增加而增加，而以 Text 文本格式存储在 HDFS 上，所消耗的容量资源巨大。那么，我们需要有一种方式来减少容量的成本。而在 Hive 中，有一种 ORC 文件格式可以极大的减少存储的容量 ...

读取orc文件 写orc文件---一行 写orc文件--多行 引用jar ...

解析 orc 格式 为 json 格式： 把解析的 json 写入 到文件 注意 ...

最近在工作的时候踩坑了，在Hive进行数据加工的时候按照同事写好的建表语句来造数往里插数据。 同事在建表的时候使用的stored AS orc；一般在工程中都是使用这种方式，有高压缩比其性能更好。 在本次需求中需要保留一部分数据来进行测试（这个项目是很久之前做的了，之前让优化，优化完毕之后 ...