今天同事在服务区上面装的是最新版本的hadoop3.10和spark2.3.1,因为用scala开发， 所以我想用sbt进行开发。过程中遇到各种坑，刚开始用的jdk10,结果也报错，后来改成jdk1.8. 又报了新的错误。开始用的是scala2.12.6 如果不要使用spark ...

前言： 　　　　　　　　　最近在研究spark 还有 kafka ， 想通过kafka端获取的数据，利用spark streaming进行一些计算，但搭建整个环境着实不易，故特此写下该过程，分享给大家，希望大家可以少走点弯路，能帮到大家！ 环境准备： 　　　　 操作系统 ...

问题导读： 1.什么是sbt？ 2.sbt项目环境如何建立？ 3.如何使用sbt编译打包scala? sbt介绍 sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。 sbt项目环境建立 sbt编译需要固定的目录格式，并且需要联网，sbt ...

error: object kafka is not a member of package org.apache.spark.streaming scala + kafka + spark环境 如果你使用的版本是kafka-0-10版本，需要将原来导包时的kafka修改成kafka010 ...

1.从https://www.scala-sbt.org/download.html官网上寻找所需要的安装包 可以直接本地下载完扔进去也可以wget路径，在这里我用的是sbt1.2.8版本的，下载到/usr/local目录下 2.将下载的sbt文件中的sbt ...

今日在学习scala和spark相关的知识。之前在eclipse下编写了wordcount程序。但是关于导出jar包这块还是很困惑。于是学习sbt构建scala。 关于sbt的介绍网上有很多的资料，这里就不解释了。参考：http://wiki.jikexueyuan.com/project ...

没用过IDEA工具，听说跟Eclipse差不多，sbt在Idea其实就等于maven在Eclipse。Spark运行在JVM中，所以要在Idea下运行spark，就先要安装JDK 1.8+ 然后加入Scala和Spark的依赖包就可以进行开发了，不要安装低版本的JDK。 先下 ...

使用IDEA和SBT构建Spark程序 1. 打开IDEA创建一个Scala项目，选择sbt 2. 选择合适的sbt版本和scala版本 3. 创建完成之后会从远程服务器拉取一些项目的信息，可能比较慢 4. 完成后的项目结构如图所示 5. 编辑 ...