代碼示例： ...

之一org.apache.spark.Logging 在2.1中變成了org.apache.spark.internal. ...

spark2.1 自定義累加器的使用 繼承AccumulatorV2類，並復寫它的所有方法 package spark import constant.Constant import org.apache.spark.util.AccumulatorV2 import ...

機器部署 　　准備三台Linux服務器，安裝好JDK1.7 下載Spark安裝包 　　上傳spark-2.1.0-bin-hadoop2.6.tgz安裝包到Linux(intsmaze-131)上 　解壓安裝包到指定位置tar -zxvf ...

解決上述辦法有兩點： 　　1、兩個import 需要放在 hiveCtx之后。 val hiveCtx: SparkSession = SparkSession.builder.config ...

這兩天和同事一起在想着如何把一個表的記錄減少，表記錄包含了：objectid(主小區信息)，gridid(歸屬柵格)，height(高度)，rsrp(主小區rsrp)，n_objectid(鄰區)，n ...

最近工作中把一些sql.sh腳本執行hive的語句升級為spark2.1版本，其中遇到將case when 替換為scala操作df的方式實現的問題： 代碼數據： 錯誤代碼： 錯誤的願意就是這里的判定是否為空的地方。 正確用法： 疑問代碼，如下代 ...

一、前期准備工作： 1.安裝包的准備： VMware(10.0版本以上) : 官方網站：https://www.vmware.com/cn.html 官方下載地址：h ...