Spark Netty与Jetty （源码阅读十一）
spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。 创建了一个线程工厂，生成的线程都给定一个前缀名。 像一般的netty框架一样，创建Netty的EventLoopGroup ...
原文：spark源码阅读-脚本篇（bin）
spark都进化到 . 了，虽然之前对spark有所了解但总感觉似懂非懂的，所以想花时间看看源码。 面对大量的源码从哪里着手呢，想到老子的一句话 天下难事必作于易，天下大事必作于细 ，所以就从脚本部分来啃。 因本人脚本编程能力也并不是那么强，所以在总结的时候会穿插一些shell的东西。此处只介绍shell脚本，不涉及bat脚本。 先按照首字母顺序介绍下每个脚本的功能： spark . . bin ...
2016-10-26 15:45 0 1496 推荐指数：
相关推荐
Spark之SQL解析（源码阅读十）
如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题~ 如今的Spark已经支持多种多样的数据源的查询与加载，兼容了Hive,可用JDBC的方式或者ODBC来连接 ...
nmap 进阶使用 [ 脚本篇 ]
0x01 前言 因为今天的重点并非nmap本身使用,这次主要还是想给大家介绍一些在实战中相对比较实用的nmap脚本,所以关于nmap自身的一些选项作用就不再多说了,详情可参考博客端口渗透相关文章,废话少说,我们直接开始,实际中我们可以先用下面的语句,大概扫一眼目标机器或目标C段都跑了什么服务 ...
Loadrunner之脚本篇——事务函数
1.事务的开始和结束名称需要相同 lr_start_transaction(“transaction_name”); …//事务处理 lr_end_transaction(“transactio ...
Apache Spark源码走读之1 -- Spark论文阅读笔记
欢迎转载，转载请注明出处，徽沪一郎。 楔子 源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。 在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性 ...
emacs+ensime+sbt打造spark源码阅读环境
欢迎转载,转载请注明出处,徽沪一郎. 概述 Scala越来越流行, Spark也愈来愈红火, 对spark的代码进行走读也成了一个很普遍的行为。不巧的是，当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算太好。在这种情况下不得不想到编辑器之神emacs ...
Appium学习路—脚本篇（启动app）
启动之前的准备 1.脚本执行前，需要先启动appium的server端， 启动server方法： 打开appium客户端，点击右上角的Launch 2.iOS的测试只能在mac本上做 ...
SQL SERVER修改排序规则——脚本篇
简单一些，修改数据库的排序规则就复杂多了，因为涉及到数据、SQL脚本等等，例如，一不小心，修改排序规则后 ...