Spark Netty與Jetty （源碼閱讀十一）
spark呢，對Netty API又做了一層封裝，那么Netty是什么呢~是個鬼。它基於NIO的服務端客戶端框架，具體不再說了，下面開始。 創建了一個線程工廠，生成的線程都給定一個前綴名。 像一般的netty框架一樣，創建Netty的EventLoopGroup ...
原文：spark源碼閱讀-腳本篇（bin）
spark都進化到 . 了，雖然之前對spark有所了解但總感覺似懂非懂的，所以想花時間看看源碼。 面對大量的源碼從哪里着手呢，想到老子的一句話 天下難事必作於易，天下大事必作於細 ，所以就從腳本部分來啃。 因本人腳本編程能力也並不是那么強，所以在總結的時候會穿插一些shell的東西。此處只介紹shell腳本，不涉及bat腳本。 先按照首字母順序介紹下每個腳本的功能： spark . . bin ...
2016-10-26 15:45 0 1496 推薦指數：
相關推薦
Spark之SQL解析（源碼閱讀十）
如何能更好的運用與監控sparkSQL?或許我們改更深層次的了解它深層次的原理是什么。之前總結的已經寫了傳統數據庫與Spark的sql解析之間的差別。那么我們下來直切主題~ 如今的Spark已經支持多種多樣的數據源的查詢與加載，兼容了Hive,可用JDBC的方式或者ODBC來連接 ...
nmap 進階使用 [ 腳本篇 ]
0x01 前言 因為今天的重點並非nmap本身使用,這次主要還是想給大家介紹一些在實戰中相對比較實用的nmap腳本,所以關於nmap自身的一些選項作用就不再多說了,詳情可參考博客端口滲透相關文章,廢話少說,我們直接開始,實際中我們可以先用下面的語句,大概掃一眼目標機器或目標C段都跑了什么服務 ...
Loadrunner之腳本篇——事務函數
1.事務的開始和結束名稱需要相同 lr_start_transaction(“transaction_name”); …//事務處理 lr_end_transaction(“transactio ...
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性 ...
emacs+ensime+sbt打造spark源碼閱讀環境
歡迎轉載,轉載請注明出處,徽滬一郎. 概述 Scala越來越流行, Spark也愈來愈紅火, 對spark的代碼進行走讀也成了一個很普遍的行為。不巧的是，當前java社區中很流行的ide如eclipse,netbeans對scala的支持都不算太好。在這種情況下不得不想到編輯器之神emacs ...
Appium學習路—腳本篇（啟動app）
啟動之前的准備 1.腳本執行前，需要先啟動appium的server端， 啟動server方法： 打開appium客戶端，點擊右上角的Launch 2.iOS的測試只能在mac本上做 ...
SQL SERVER修改排序規則——腳本篇
簡單一些，修改數據庫的排序規則就復雜多了，因為涉及到數據、SQL腳本等等，例如，一不小心，修改排序規則后 ...