idea在本地調試,spark創建hiveContext的時候報錯


spark版本:1.6.1

scala版本:2.10

問題呢場景:

  在idea調試本地程序的時候創建hiveContext報錯,上午的時候是沒有這個問題的,下午在項目中寫了一個小deamon,出現了而這個問題,下面是我的代碼:

import cn.com.xxx.common.config.SparkConfig
import org.apache.spark.sql.hive.HiveContext

object test{
  def main(args: Array[String]): Unit = {
    SparkConfig.init("local[2]", this.getClass.getName)
    val sc = SparkConfig.getSparkContext()
    sc.setLogLevel("WARN")
    val hqlContext = new HiveContext(sc)
    println("hello")
    sc.stop()
  }
}

 

報錯:

 

 苦惱了一早晨,開始是以為我的依賴包沒有下載,但是查看我的sbt的中的built.sbt文件中是有這個包的,跟蹤源碼,找度娘,等等,最終找到問題,最后定位到問題,是因為這個spark-hive依賴包的類型設置錯誤了:

順便說一下,idea中我是怎么找到built.sbt文件的:

罪魁禍首就是這個單詞,需要將這里改為"compile",如下圖:

,然后,點擊右下角出現的提示,import:

等待更新結束之后,然后在此進行編譯,成功

大坑啊,這里記錄一下,防止以后再次遇到

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM