【原創】大叔問題定位分享（21）spark執行insert overwrite非常慢，比hive還要慢
最近把一些sql執行從hive改到spark，發現執行更慢，sql主要是一些insert overwrite操作，從執行計划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
原文：【原創】大叔問題定位分享（22）hive同時執行多個insert overwrite table只有1個可以執行
hive . 一 問題 最近有一個場景，要向一個表的多個分區寫數據，為了縮短執行時間，采用並發的方式，多個sql同時執行，分別寫不同的分區，同時開啟動態分區： set hive.exec.dynamic.partition true insert overwrite table test table partition dt select from test table another where ...
2018-12-27 16:12 0 3946 推薦指數：
相關推薦
【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...
【原創】大叔經驗分享（83）impala執行多個select distinct
impala在一個select中執行多個count distinct時會報錯，比如執行 select key, count(distinct column_a), count(distinct column_b) from test_table group by key 會報 ...
Hive insert overwrite 問題
body { margin: 0 auto; font: 13px / 1 Helvetica, Arial, sans-serif; color: rgba(68, 68, 68, 1); padd ...
Hive：insert into table 與 insert overwrite table 區別
創建測試表，來測試看看測試結果： 第一步：使用insert into 插入數據到表中： 第二步：不清理以上插入的記錄，直接執行insert overwirte，並查詢分析結果： 第三步：不清理上邊步驟執行后的結果，接着執行以下sql語句，並查詢結果： ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...
【原創】大叔經驗分享（18）hive2.0以后通過beeline執行sql沒有進度信息
一 問題 在hive1.2中使用hive或者beeline執行sql都有進度信息，但是升級到hive2.0以后，只有hive執行sql還有進度信息，beeline執行sql完全silence，在等待結果的過程中完全不知道執行到哪了 1 hive執行sql過程（有進度信息 ...
Hive-insert into table 與 insert overwrite table 區別
區分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...