【原创】大叔经验分享（60）hive和spark读取kudu表
从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： 官方的解释是： You will encounter this exception when you try to access a Kudu table using ...
原文：【原创】大叔经验分享（65）spark读取不到hive表
spark . . spark读取hive表，步骤： hive site.xml hive site.xml放到 SPARK HOME conf下 enableHiveSupport SparkSession.builder.enableHiveSupport .getOrCreate 测试代码 使用 SPARK HOME bin spark submit提交任务后发现并不能读取到hive的数据库 ...
2019-06-01 14:05 1 1546 推荐指数：
相关推荐
【原创】大叔经验分享（7）创建hive表时格式如何选择
常用格式 textfile 需要定义分隔符，占用空间大，读写效率最低，非常容易发生冲突（分隔符）的一种格式，基本上只有需要导入数据的时候才会使用，比如导入csv文件； ROW FORMAT ...
【原创】大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： 这个参数hive.exec.max.dynamic.partitions的默认值是1000，修改 ...
【原创】大叔经验分享（2）为什么hive在大表上加条件后执行limit很慢
问题重现 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看执行计划： hive> explain select * from big_table where name ...
【原创】大叔经验分享（25）hive通过外部表读写hbase数据
在hive中创建外部表： CREATE EXTERNAL TABLE hive_hbase_table(key string, name string,desc string) STORED ...
【原创】大叔经验分享（26）hive通过外部表读写elasticsearch数据
hive通过外部表读写elasticsearch数据，和读写hbase数据差不多，差别是需要下载elasticsearch-hadoop-hive-6.6.2.jar，然后使用其中的EsStorageHandler； Connect the massive data storage ...
【原创】大叔经验分享（23）spark sql插入表时的文件个数研究
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录 ...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...