【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
原文：【原創】大叔經驗分享（60）hive和spark讀取kudu表
從impala中創建kudu表之后，如果想從hive或spark sql直接讀取，會報錯： 官方的解釋是： You will encounter this exception when you try to access a Kudu table using Hive. This is not a case of a missing jar, but simply that Impala stor ...
2019-05-22 18:06 0 2261 推薦指數：
相關推薦
【原創】大叔經驗分享（55）spark連接kudu報錯
spark-2.4.2kudu-1.7.0 開始嘗試 1）自己手工將jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（將kudu版本改為1.7.0 ...
【原創】大叔經驗分享（7）創建hive表時格式如何選擇
常用格式 textfile 需要定義分隔符，占用空間大，讀寫效率最低，非常容易發生沖突（分隔符）的一種格式，基本上只有需要導入數據的時候才會使用，比如導入csv文件； ROW FORMAT ...
【原創】大叔經驗分享（59）kudu查看table size
kudu並沒有命令可以直接查看每個table占用的空間，可以從cloudera manager上間接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances ...
【原創】大叔經驗分享（63）kudu vs parquet
一 對比 存儲空間對比： 查詢性能對比： 二 設計方案 將數據拆分為：歷史數據（hdfs+parquet+snappy）+ 近期數據（kudu），可以兼具各種優點： 1）整體低於10%的磁盤占用； 2）更少的查詢耗時； 3）近期數據實時更新； 4）近期 ...
【原創】大叔經驗分享（62）kudu副本數量
kudu的副本數量是在表上設置，可以通過命令查看 其中RF即replication factor； 副本數量只能在創建表時指定，創建后不能修改，並且副本數量必須為奇數 By default, Kudu tables created through Impala use ...
【原創】大叔經驗分享（84）spark sql中設置hive.exec.max.dynamic.partitions無效
spark 2.4 spark sql中執行 set hive.exec.max.dynamic.partitions=10000; 后再執行sql依然會報錯： 這個參數hive.exec.max.dynamic.partitions的默認值是1000，修改 ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...