今天同事在服務區上面裝的是最新版本的hadoop3.10和spark2.3.1,因為用scala開發， 所以我想用sbt進行開發。過程中遇到各種坑，剛開始用的jdk10,結果也報錯，后來改成jdk1.8. 又報了新的錯誤。開始用的是scala2.12.6 如果不要使用spark ...

前言： 　　　　　　　　　最近在研究spark 還有 kafka ， 想通過kafka端獲取的數據，利用spark streaming進行一些計算，但搭建整個環境着實不易，故特此寫下該過程，分享給大家，希望大家可以少走點彎路，能幫到大家！ 環境准備： 　　　　 操作系統 ...

問題導讀： 1.什么是sbt？ 2.sbt項目環境如何建立？ 3.如何使用sbt編譯打包scala? sbt介紹 sbt是一個代碼編譯工具，是scala界的mvn，可以編譯scala，java等，需要java1.6以上。 sbt項目環境建立 sbt編譯需要固定的目錄格式，並且需要聯網，sbt ...

error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark環境 如果你使用的版本是kafka-0-10版本，需要將原來導包時的kafka修改成kafka010 ...

1.從https://www.scala-sbt.org/download.html官網上尋找所需要的安裝包 可以直接本地下載完扔進去也可以wget路徑，在這里我用的是sbt1.2.8版本的，下載到/usr/local目錄下 2.將下載的sbt文件中的sbt ...

今日在學習scala和spark相關的知識。之前在eclipse下編寫了wordcount程序。但是關於導出jar包這塊還是很困惑。於是學習sbt構建scala。 關於sbt的介紹網上有很多的資料，這里就不解釋了。參考：http://wiki.jikexueyuan.com/project ...

沒用過IDEA工具，聽說跟Eclipse差不多，sbt在Idea其實就等於maven在Eclipse。Spark運行在JVM中，所以要在Idea下運行spark，就先要安裝JDK 1.8+ 然后加入Scala和Spark的依賴包就可以進行開發了，不要安裝低版本的JDK。 先下 ...

使用IDEA和SBT構建Spark程序 1. 打開IDEA創建一個Scala項目，選擇sbt 2. 選擇合適的sbt版本和scala版本 3. 創建完成之后會從遠程服務器拉取一些項目的信息，可能比較慢 4. 完成后的項目結構如圖所示 5. 編輯 ...