【原創】大叔經驗分享（60）hive和spark讀取kudu表
從impala中創建kudu表之后，如果想從hive或spark sql直接讀取，會報錯： 官方的解釋是： You will encounter this exception when you try to access a Kudu table using ...
原文：【原創】大叔經驗分享（65）spark讀取不到hive表
spark . . spark讀取hive表，步驟： hive site.xml hive site.xml放到 SPARK HOME conf下 enableHiveSupport SparkSession.builder.enableHiveSupport .getOrCreate 測試代碼 使用 SPARK HOME bin spark submit提交任務后發現並不能讀取到hive的數據庫 ...
2019-06-01 14:05 1 1546 推薦指數：
相關推薦
【原創】大叔經驗分享（7）創建hive表時格式如何選擇
常用格式 textfile 需要定義分隔符，占用空間大，讀寫效率最低，非常容易發生沖突（分隔符）的一種格式，基本上只有需要導入數據的時候才會使用，比如導入csv文件； ROW FORMAT ...
【原創】大叔經驗分享（84）spark sql中設置hive.exec.max.dynamic.partitions無效
spark 2.4 spark sql中執行 set hive.exec.max.dynamic.partitions=10000; 后再執行sql依然會報錯： 這個參數hive.exec.max.dynamic.partitions的默認值是1000，修改 ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...
【原創】大叔經驗分享（25）hive通過外部表讀寫hbase數據
在hive中創建外部表： CREATE EXTERNAL TABLE hive_hbase_table(key string, name string,desc string) STORED ...
【原創】大叔經驗分享（26）hive通過外部表讀寫elasticsearch數據
hive通過外部表讀寫elasticsearch數據，和讀寫hbase數據差不多，差別是需要下載elasticsearch-hadoop-hive-6.6.2.jar，然后使用其中的EsStorageHandler； Connect the massive data storage ...
【原創】大叔經驗分享（23）spark sql插入表時的文件個數研究
spark sql執行insert overwrite table時，寫到新表或者新分區的文件個數，有可能是200個，也有可能是任意個，為什么會有這種差別？ 首先看一下spark sql執行insert overwrite table流程： 1 創建臨時目錄 ...
【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...