花费 11 ms
Kafka配置说明

Broker Configs Property Default Description broker.id ...

Thu Apr 14 23:53:00 CST 2016 3 55956
Scala(一)——scala+Idea环境配置

Java虚拟机的确是很强大,有很多计算机语言可以运行在虚拟机上,完善了虚拟机上多语言编程。 近年来,大数据云计算,大数据的火爆也让一些小众语言火了起来,如Python,Scala等。这些语言编写简单 ...

Wed Jun 13 07:25:00 CST 2018 2 27758
Scala 中的foreach和map方法比较

Scala中的集合对象都有foreach和map两个方法。两个方法的共同点在于:都是用于遍历集合对象,并对每一项执行指定的方法。而两者的差异在于:foreach无返回值(准确说返回void),map返 ...

Fri Aug 07 21:52:00 CST 2015 0 43836
Spark Rdd coalesce()方法和repartition()方法

在Spark的Rdd中,Rdd是分区的。 有时候需要重新设置Rdd的分区数量,比如Rdd的分区中,Rdd分区比较多,但是每个Rdd的数据量比较小,需要设置一个比较合理的分区。或者需要把Rdd的分区数 ...

Fri Apr 15 19:20:00 CST 2016 0 33632
Spark:DataFrame 写入文本文件

将DataFrame写成文件方法有很多最简单的将DataFrame转换成RDD,通过saveASTextFile进行保存但是这个方法存在一些局限性:1.将DataFrame转换成RDD或导致数据结构的 ...

Wed Oct 17 00:05:00 CST 2018 0 13922
使用Flink时遇到的问题(不断更新中)

1.启动不起来 查看JobManager日志: 解决方案:/etc/hosts中配置的主机名都是小写,但是在Flink配置文件(flink-config.yaml、masters、 ...

Sun Sep 17 06:13:00 CST 2017 1 20391
Scala 隐式(implicit)详解

文章正文 通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这种特性可以极大的减少代码量,忽略那些冗长,过于细节的代码。 1、Spark ...

Mon Apr 09 00:47:00 CST 2018 3 14465

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM