【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...
原文：【原創】大叔經驗分享（39）spark cache unpersist級聯操作
問題：spark中如果有兩個DataFrame 或者DataSet ，DataFrameA依賴DataFrameB，並且兩個DataFrame都進行了cache，將DataFrameB unpersist之后，DataFrameA的cache也會失效，官方解釋如下： When invalidating a cache, we invalid other caches dependent on th ...
2019-03-13 17:52 0 790 推薦指數：
相關推薦
【原創】大叔經驗分享（5）oozie提交spark任務如何添加依賴
spark任務添加依賴的方式： 1 如果是local方式運行，可以通過--jars來添加依賴； 2 如果是yarn方式運行，可以通過spark.yarn.jars來添加依賴； 這兩種方式在oozie上都行不通，首先oozie上沒辦法也不應該通過local運行 ...
【原創】大叔經驗分享（55）spark連接kudu報錯
spark-2.4.2kudu-1.7.0 開始嘗試 1）自己手工將jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（將kudu版本改為1.7.0 ...
【原創】大叔經驗分享（15）spark sql limit實現原理
之前討論過hive中limit的實現，詳見 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的實現，首先看執行計划： spark-sql> explain select * from test1 ...
【原創】大叔經驗分享（60）hive和spark讀取kudu表
從impala中創建kudu表之后，如果想從hive或spark sql直接讀取，會報錯： 官方的解釋是： You will encounter this exception when you try to access a Kudu table using ...
【原創】大叔問題定位分享（27）spark中rdd.cache
spark 2.1.1 spark應用中有一些task非常慢，持續10個小時，有一個task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原創】大叔經驗分享（88）jenkins假死
jenkins安裝啟動后，使用systemctl來進行進程監控 # systemctl enable jenkins 但是還是經常發生jenkins進程掛了，不會自動重啟，通過syste ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...