...

import java.io.PrintWriterimport java.io.File import scala.io.Source object FileOps { def main(args:Array[String]){ //文件读取 val file=Source.fromFile ...

最近在学习中，需要用spark读取mysql数据，查阅了很多资料大多是java版本的，自己琢磨了半天，研究出python版本的，本人菜鸟，本博客只会记录学习过程，如有不妥请见谅。所用spark版本为1.4.1. 先上自己找到了一些相关资料，仅供参考~~~ http ...

在阅读一些博客和资料中，发现安装spark与Scala是要严格遵守两者的版本对应关系，如果版本不对应会在之后的使用中出现许多问题。 在安装时，我们可以在spark的官网中查到对应的Scala版本号，如spark2.4.4中对应的版本号为Scala2.11 spark官网：http ...

1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可 ...

Spark将DataFrame进行一些列处理后，需要将之写入mysql，下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。 2.需要的jar依赖（sbt版本，maven的对应修改即可） 3.完整实现 ...

第一种方式： 第二种方式： 第三种方式： ...

目录 Java读文件写入kafka 文件格式 pom依赖 java代码 Java读文件写入kafka 文件格式 pom依赖 java代码 ...