【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...
原文：【原創】大叔經驗分享（18）hive2.0以后通過beeline執行sql沒有進度信息
一 問題 在hive . 中使用hive或者beeline執行sql都有進度信息，但是升級到hive . 以后，只有hive執行sql還有進度信息，beeline執行sql完全silence，在等待結果的過程中完全不知道執行到哪了 hive執行sql過程 有進度信息 hive gt select count from test table WARNING: Hive on MR is deprec ...
2018-12-27 16:53 0 2260 推薦指數：
相關推薦
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...
【原創】大叔經驗分享（84）spark sql中設置hive.exec.max.dynamic.partitions無效
spark 2.4 spark sql中執行 set hive.exec.max.dynamic.partitions=10000; 后再執行sql依然會報錯： 這個參數hive.exec.max.dynamic.partitions的默認值是1000，修改 ...
【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
【原創】大叔經驗分享（100）Atlas導入hive元數據
首先要有HIVE_HOME環境變量， 如果是apache，直接配置為解壓目錄；如果是CDH，設置如下： # export HIVE_HOME=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive 執行導入 ...
【原創】大叔經驗分享（7）創建hive表時格式如何選擇
常用格式 textfile 需要定義分隔符，占用空間大，讀寫效率最低，非常容易發生沖突（分隔符）的一種格式，基本上只有需要導入數據的時候才會使用，比如導入csv文件； ROW FORMAT ...
【原創】大叔經驗分享（78）hive查詢報錯NoViableAltException
Hive或spark中執行sql字符常量包含;時會報錯，比如 select instr('abc;abc', ';'); 報錯 NoViableAltException(-1@[147:1: selectExpression : ( expression ...