SparkRDD函数详解
1、RDD操作详解 启动spark-shell spark-shell --master spark://hdp-node-01:7077 1.1 基本转换 1) map map是对RDD中 ...
原文：SparkRDD编程实战
通过spark实现点击流日志分析案例 访问的pv 访问的uv 访问的topN 通过Spark实现ip地址查询 需求分析 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市 热门报考学校等，会将这样的信息显示在热点图中。 因此，我们需要通过日志信息 运行商或者网站自己生成 和城市ip段信息来判断用户的ip段，统计热点经纬度。 技术调研 因为我们的需求是完成 ...
2018-07-26 01:12 0 791 推荐指数：
相关推荐
并发编程实战(一)
并发编程的三个核心问题: 分工 : 高效的拆解任务分给线程 同步 : 线程之间的协作 互斥 : 保证同一时刻只允许一个线程访问共享资源 这个其实不难理解,做个简单的比喻,我们团队做一个项目的时候肯定是先分配任务(分工),然后等到任务完成进行合并对接(同步),在开发过程 ...
《java并发编程实战》
目录 对本书的赞誉 译者序 前 言 第1章 简介 1.1 并发简史 1.2 线程的优势 1.2.1 发挥多处理器的强大能力 1.2.2 建模的简单性 1.2.3 异步事件的简化处理 ...
Shell编程实战
为什么要学习Shell编程 Shell脚本语言是实现Linux/Unix系统管理及自动化运维所必须的重要工具，Linux系统的底层以及基础应用软件的核心大都涉及Shell脚本的内容。 一个合格的Linux系统管理员都必须熟练编写Shell脚本语言，从而提升运维人员的工作效率，减少不必要的重复性 ...
《JavaScript编程实战》
《JavaScript编程实战》 基本信息 原书名：JavaScript programming: pushing the limits 作者： (美)Jon Raasch 译者： 吴海星 丛书名： 图灵程序设计丛书 出版社：人民邮电出版社 ISBN：9787115345486 ...
java并发编程实战
每一个想学习Java多线程的人，手里至少有这本书或者至少要看这本书，2012年在看这本书的时候，当时正开发支付平台的后台应用，正好给了我大量的实践机会。强烈建议大家多看几 ...
Scala编程实战
项目概述 需求 目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量 ...
Java并发编程实战（4）- 死锁
在这篇文章中，我们主要讨论一下死锁及其解决办法。 目录 概述 死锁案例 死锁的原因和预防 破坏占用且等待条件 破坏不可抢占条件 破坏循 ...