【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
原文：【原创】大叔经验分享（60）hive和spark读取kudu表
从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： 官方的解释是： You will encounter this exception when you try to access a Kudu table using Hive. This is not a case of a missing jar, but simply that Impala stor ...
2019-05-22 18:06 0 2261 推荐指数：
相关推荐
【原创】大叔经验分享（55）spark连接kudu报错
spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（将kudu版本改为1.7.0 ...
【原创】大叔经验分享（7）创建hive表时格式如何选择
常用格式 textfile 需要定义分隔符，占用空间大，读写效率最低，非常容易发生冲突（分隔符）的一种格式，基本上只有需要导入数据的时候才会使用，比如导入csv文件； ROW FORMAT ...
【原创】大叔经验分享（59）kudu查看table size
kudu并没有命令可以直接查看每个table占用的空间，可以从cloudera manager上间接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances ...
【原创】大叔经验分享（63）kudu vs parquet
一 对比 存储空间对比： 查询性能对比： 二 设计方案 将数据拆分为：历史数据（hdfs+parquet+snappy）+ 近期数据（kudu），可以兼具各种优点： 1）整体低于10%的磁盘占用； 2）更少的查询耗时； 3）近期数据实时更新； 4）近期 ...
【原创】大叔经验分享（62）kudu副本数量
kudu的副本数量是在表上设置，可以通过命令查看 其中RF即replication factor； 副本数量只能在创建表时指定，创建后不能修改，并且副本数量必须为奇数 By default, Kudu tables created through Impala use ...
【原创】大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： 这个参数hive.exec.max.dynamic.partitions的默认值是1000，修改 ...
【原创】大叔经验分享（2）为什么hive在大表上加条件后执行limit很慢
问题重现 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看执行计划： hive> explain select * from big_table where name ...