【原创】大叔经验分享（60）hive和spark读取kudu表
从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： 官方的解释是： You will encounter this exception when you try to access a Kudu table using ...
原文：【原创】大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
spark . spark sql中执行 sethive.exec.max.dynamic.partitions 后再执行sql依然会报错： 这个参数hive.exec.max.dynamic.partitions的默认值是 ，修改没有生效， 原因如下： HiveClient does not know new value . There is no way to change the defau ...
2019-10-03 00:33 0 1132 推荐指数：
相关推荐
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...
【原创】大叔经验分享（15）spark sql limit实现原理
之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 ...
【原创】大叔经验分享（18）hive2.0以后通过beeline执行sql没有进度信息
一 问题 在hive1.2中使用hive或者beeline执行sql都有进度信息，但是升级到hive2.0以后，只有hive执行sql还有进度信息，beeline执行sql完全silence，在等待结果的过程中完全不知道执行到哪了 1 hive执行sql过程（有进度信息 ...
【原创】大叔经验分享（23）spark sql插入表时的文件个数研究
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录 ...
【原创】大叔经验分享（55）spark连接kudu报错
spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（将kudu版本改为1.7.0 ...
【原创】大叔经验分享（39）spark cache unpersist级联操作
问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersist之后，DataFrameA的cache也会失效，官方解释如下： When ...