window环境下使用sbt编译spark源码
前些天用maven编译打包spark，搞得焦头烂额的，各种错误，层出不穷，想想也是醉了，于是乎，换种方式，使用sbt编译，看看人品如何！ 首先，从官网spark官网下载spark源码包，解压出来。我这边使用的是1.4.0版本。 然后，我们需要把sbt配置好，配置很简单，无非 ...
原文：emacs+ensime+sbt打造spark源码阅读环境
欢迎转载,转载请注明出处,徽沪一郎. 概述 Scala越来越流行, Spark也愈来愈红火, 对spark的代码进行走读也成了一个很普遍的行为。不巧的是，当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算太好。在这种情况下不得不想到编辑器之神emacs,利用emacs ensime来打造scala编程环境。 本文讲述的步骤全部是在arch linux上，其它 ...
2014-04-11 16:49 2 6846 推荐指数：
相关推荐
Android拓展系列(11)--打造Windows下便携的Android源码阅读环境
因为EXT和NTFS格式的差异，我一直对于windows下阅读Android源码感到不满。 前几天，想把最新的android5.0的源码下下来研究一下，而平时日常使用的又是windows环境，于是专门思考了一下这个问题，总结一次。 要求 有且只有一份可以下载，更新，编译的Android源码 ...
Spark开发环境搭建（IDEA、Scala、SVN、SBT）
软件版本 软件信息 软件名称 版本 下载地址 备注 Java 1.8 https://www.or ...
Windows上IDEA搭建最新Spark2.4.3源码阅读及调试的开发环境
相信很多同学都想通过阅读一些框架的源码，来提高自己的代码能力，但往往在第一步，搭建环境的时候就碰了壁。 本篇就来介绍下如何在Windows下，将最新版的Spark2.4.3编译，并导入到IDEA编译器中。最后通过在IDEA运行Spark自带的一共Example代码结尾。 1.搭建Spark源码 ...
spark源码阅读-脚本篇（bin）
spark都进化到2.0了，虽然之前对spark有所了解但总感觉似懂非懂的，所以想花时间看看源码。 面对大量的源码从哪里着手呢，想到老子的一句话“天下难事必作于易，天下大事必作于细”，所以就从脚本部分来啃。 因本人脚本编程能力也并不是那么强，所以在总结的时候会穿插一些shell的东西 ...
Spark Netty与Jetty （源码阅读十一）
spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。 创建了一个线程工厂，生成的线程都给定一个前缀名。 像一般的netty框架一样，创建Netty的EventLoopGroup ...
Kafka源码阅读环境搭建
kafka主要是由scala写，其源码质量高，考虑到新版本提交人员的水平高低不同，对阅读源码不太好，因此选择早期的0.10.1版本。下面记录一下搭建kafka源码阅读环境，后面使用。 搭建的基本环境： OS：Mac(10.12.x)； JDK：1.8.0_191； Scala-JDK ...
Spark之SQL解析（源码阅读十）
如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题~ 如今的Spark已经支持多种多样的数据源的查询与加载，兼容了Hive,可用JDBC的方式或者ODBC来连接 ...