window環境下使用sbt編譯spark源碼
前些天用maven編譯打包spark，搞得焦頭爛額的，各種錯誤，層出不窮，想想也是醉了，於是乎，換種方式，使用sbt編譯，看看人品如何！ 首先，從官網spark官網下載spark源碼包，解壓出來。我這邊使用的是1.4.0版本。 然后，我們需要把sbt配置好，配置很簡單，無非 ...
原文：emacs+ensime+sbt打造spark源碼閱讀環境
歡迎轉載,轉載請注明出處,徽滬一郎. 概述 Scala越來越流行, Spark也愈來愈紅火, 對spark的代碼進行走讀也成了一個很普遍的行為。不巧的是，當前java社區中很流行的ide如eclipse,netbeans對scala的支持都不算太好。在這種情況下不得不想到編輯器之神emacs,利用emacs ensime來打造scala編程環境。 本文講述的步驟全部是在arch linux上，其它 ...
2014-04-11 16:49 2 6846 推薦指數：
相關推薦
Android拓展系列(11)--打造Windows下便攜的Android源碼閱讀環境
因為EXT和NTFS格式的差異，我一直對於windows下閱讀Android源碼感到不滿。 前幾天，想把最新的android5.0的源碼下下來研究一下，而平時日常使用的又是windows環境，於是專門思考了一下這個問題，總結一次。 要求 有且只有一份可以下載，更新，編譯的Android源碼 ...
Spark開發環境搭建（IDEA、Scala、SVN、SBT）
軟件版本 軟件信息 軟件名稱 版本 下載地址 備注 Java 1.8 https://www.or ...
Windows上IDEA搭建最新Spark2.4.3源碼閱讀及調試的開發環境
相信很多同學都想通過閱讀一些框架的源碼，來提高自己的代碼能力，但往往在第一步，搭建環境的時候就碰了壁。 本篇就來介紹下如何在Windows下，將最新版的Spark2.4.3編譯，並導入到IDEA編譯器中。最后通過在IDEA運行Spark自帶的一共Example代碼結尾。 1.搭建Spark源碼 ...
spark源碼閱讀-腳本篇（bin）
spark都進化到2.0了，雖然之前對spark有所了解但總感覺似懂非懂的，所以想花時間看看源碼。 面對大量的源碼從哪里着手呢，想到老子的一句話“天下難事必作於易，天下大事必作於細”，所以就從腳本部分來啃。 因本人腳本編程能力也並不是那么強，所以在總結的時候會穿插一些shell的東西 ...
Spark Netty與Jetty （源碼閱讀十一）
spark呢，對Netty API又做了一層封裝，那么Netty是什么呢~是個鬼。它基於NIO的服務端客戶端框架，具體不再說了，下面開始。 創建了一個線程工廠，生成的線程都給定一個前綴名。 像一般的netty框架一樣，創建Netty的EventLoopGroup ...
Kafka源碼閱讀環境搭建
kafka主要是由scala寫，其源碼質量高，考慮到新版本提交人員的水平高低不同，對閱讀源碼不太好，因此選擇早期的0.10.1版本。下面記錄一下搭建kafka源碼閱讀環境，后面使用。 搭建的基本環境： OS：Mac(10.12.x)； JDK：1.8.0_191； Scala-JDK ...
Spark之SQL解析（源碼閱讀十）
如何能更好的運用與監控sparkSQL?或許我們改更深層次的了解它深層次的原理是什么。之前總結的已經寫了傳統數據庫與Spark的sql解析之間的差別。那么我們下來直切主題~ 如今的Spark已經支持多種多樣的數據源的查詢與加載，兼容了Hive,可用JDBC的方式或者ODBC來連接 ...