原文:你真知道如何高效用mapPartitions吗?

做过一段时间spark的应用开发的小伙伴都会渐渐发现,很没趣,因为都是调API。那么,真的是没趣吗,还是说你本身没有去深入研究呢 通过本文你就会发现自己没成长是哪的问题了。 浪尖会花一段时间在spark的算子原理分析和高性能使用对比方面的分析,并将这些知识放到浪尖的知识星球里。有兴趣的同学扫描底部二维码或者点击阅读原文加入星球。昨天将spark . 源码阅读视频已经上传到星球里。 顺便打个广告, ...

2018-09-11 14:12 1 3731 推荐指数:

查看详情

程序员如何高效学Python,如何高效用Python挣钱

本人在1年半之前,不熟悉Python(不过有若干年Java开发基础),由于公司要用Python,所以学习了一通。现在除了能用Python做本职工作外,还出了本Python书,《基于股票大数据分 ...

Tue Jun 23 21:06:00 CST 2020 3 1466
Grep 高效用法实战总结 - 运维笔记

grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,能使 ...

Thu Jul 12 22:18:00 CST 2018 0 10711
ck中利用roaringbitmap实现高效用户标签查询

本文实践了对于千万级别的用户,操作总数达万级别,每日几十亿操作流水的留存分析工具秒级别查询的数据构建方案。同时,除了留存分析,对于用户群分析,事件分析等也可以尝试用此方案来解决。 背景 你可能听说 ...

Fri Feb 25 00:10:00 CST 2022 0 777
PHP中逻辑运算符的高效用法---&&和||

偶尔遇到这个,查了一下,所以就摘录了。 逻辑运算符无非是将值进行逻辑运算。还有其它用法吗?首先让我们先看一下下面的代码,然后我们再一起展开话题。提前给出结论就是(&&)or(||)” ...

Fri Jan 04 23:25:00 CST 2019 0 1258
消息队列之真知灼见

一 什么是消息队列(MQ) MQ全称为Message Queue 消息队列(MQ)是一种应用程序对应用程序的通信方法。MQ是消费-生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取队列中的消息。这样发布者和使用者都不用知道对方的存在 ...

Fri Nov 15 23:17:00 CST 2019 0 597
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM