添加分區： 已經創建好的分區表： 分區字段包含：p_hour,p_city,p_loctype。 根據分區字段p_loctype刪除分區： 刪除日志： ...

了解JVM GC原理非常重要，對於系統調優非常有用。如果一個系統頻繁發生FULL GC，那么會造成系統響應卡頓，更嚴重的時候會導致系統崩潰。 JVM的內存空間 JVM的內存空間，從大的層面上來分析 ...

hadoop fs 更多用法，請參考官網：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du統計 ...

為什么要使用廣播(broadcast)變量？ Spark中因為算子中的真正邏輯是發送到Executor中去運行的，所以當Executor中需要引用外部變量時，需要使用廣播變量。進一步解釋： ...

需求： 由於一個大文件，在spark中加載性能比較差。於是把一個大文件拆分為多個小文件后上傳到hdfs，然而在spark2.2下如何加載某個目錄下多個文件呢? 測試結果： ...

背景： 調研過OOZIE和AZKABA,這種都是只是使用spark-submit.sh來提交任務，任務提交上去之后獲取不到ApplicationId，更無法跟蹤spark application的任 ...

幾種給Dataset增加列的方式 首先創建一個DF對象： 第一種方式：使用lit()增加常量（固定值） 可以是字符串類型，整型 注意： lit()是spark自帶 ...

JavaRDD 轉化為 Dataset<Row>方案一： 實體類作為schema定義規范，使用反射，實現JavaRDD轉化為Dataset<Row> Student.jav ...

DataFrame寫入hive API： registerTempTable函數是創建spark臨時表 insertInto函數是向表中寫入數據，可以看出此函數不能指定數據庫和分 ...

導入： 1）Spark Web UI主要依賴於流行的Servlet容器Jetty實現； 2）Spark Web UI(Spark2.3之前)是展示運行狀況、資源狀態和監控指標的前端，而這些 ...