花费 8 ms
spark 学习笔记 show()

函数重载 第一个参数:返回的行数 第二个参数:bool或者int类型,flase代表字段内容全部展示,true代表只展示20个字符,或者可以自动指定 第三个参数:是否垂直打印,默认 ...

Tue Aug 04 22:12:00 CST 2020 0 1965
map与flatmap的区别

总结 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作,映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常 ...

Sat Apr 09 06:12:00 CST 2022 0 1694
spark 学习笔记 sample 算子

输入参数:withReplacement、fraction,seed 返回: 数组集组成的RDD withReplacement:表示抽出样本后是否在放回去,true表示会放回去,这 ...

Tue Aug 04 21:28:00 CST 2020 0 780
spark foreach

foreach 是一个action算子,不会触发shuffle 读取数据后,查看idea提示,foreach算子要求输入一个函数,这个函数的输入和数据相关(本次是String类型的变量), ...

Thu Dec 31 19:43:00 CST 2020 0 509
spark 学习笔记 dataframe注册生成表

DataFrame注册成一张表格,如果通过CreateTempView这种方式来创建,那么该表格Session有效,如果通过CreateGlobalTempView来创建,那么该表格跨Session ...

Tue Aug 04 19:30:00 CST 2020 0 667
spark2.3 消费kafka0.10数据

官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-str ...

Fri Dec 13 21:57:00 CST 2019 0 268

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM