Spark2.1.0——內置RPC框架詳解
Spark2.1.0——內置RPC框架詳解 在Spark中很多地方都涉及網絡通信，比如Spark各個組件間的消息互通、用戶文件與Jar包的上傳、節點間的Shuffle過程、Block數據的復制與備份等。在Spark 0.x.x與Spark 1.x.x版本中，組件間的消息通信主要 ...
原文：Spark2.1.0——內置Web框架詳解
Spark . . 內置Web框架詳解 任何系統都需要提供監控功能，否則在運行期間發生一些異常時，我們將會束手無策。也許有人說，可以增加日志來解決這個問題。日志只能解決你的程序邏輯在運行期的監控，進而發現Bug，以及提供對業務有幫助的調試信息。當你的JVM進程奔潰或者程序響應速度很慢時，這些日志將毫無用處。好在JVM提供了jstat jstack jinfo jmap jhat等工具幫助我們分析， ...
2019-02-28 14:45 0 1170 推薦指數：
相關推薦
spark2.1.0的源碼編譯
本文介紹spark2.1.0的源碼編譯 1.編譯環境： Jdk1.8或以上 Hadoop2.7.3 Scala2.10.4 必要條件： Maven 3.3.9或以上（重要） 點這里下載 http://mirror.bit.edu.cn/apache/maven/maven-3 ...
Spark2.1.0——Spark初體驗
學習一個工具的最好途徑，就是使用它。這就好比《極品飛車》玩得好的同學，未必真的會開車，要學習車的駕駛技能，就必須用手觸摸方向盤、用腳感受剎車與油門的力道。在IT領域，在深入了解一個系統的原理、實現細節之前，應當先准備好它的運行環境或者源碼閱讀環境。如果能在實際環境下安裝和運行Spark ...
Spark2.1.0——剖析spark-shell
在《Spark2.1.0——運行環境准備》一文介紹了如何准備基本的Spark運行環境，並在《Spark2.1.0——Spark初體驗》一文通過在spark-shell中執行word count的過程，讓讀者了解到可以使用spark-shell提交Spark作業。現在讀者應該很想 ...
Spark2.1.0模型設計與基本架構（上）
隨着近十年互聯網的迅猛發展，越來越多的人融入了互聯網——利用搜索引擎查詢詞條或問題；社交圈子從現實搬到了Facebook、Twitter、微信等社交平台上；女孩子們現在少了逛街，多了在各大電商平台 ...
Spark2.1.0——運行環境准備
學習一個工具的最好途徑，就是使用它。這就好比《極品飛車》玩得好的同學，未必真的會開車，要學習車的駕駛技能，就必須用手觸摸方向盤、用腳感受剎車與油門的力道。在IT領域，在深入了解一個系統的原理、實現細節之前，應當先准備好它的運行環境或者源碼閱讀環境。如果能在實際環境下安裝和運行Spark ...
Spark2.1.0模型設計與基本架構（下）
閱讀提示：讀者如果對Spark的背景知識不是很了解的話，建議首先閱讀《SPARK2.1.0模型設計與基本架構（上）》一文。 Spark模型設計 1. Spark編程模型 正如Hadoop在介紹MapReduce編程模型時選擇word count的例子，並且使用圖形來說明一樣，筆者 ...
Spark2.1.0——深入理解事件總線
Spark2.1.0——深入理解事件總線 概覽 Spark程序在運行的過程中，Driver端的很多功能都依賴於事件的傳遞和處理，而事件總線在這中間發揮着至關重要的紐帶作用。事件總線通過異步線程，提高了Driver執行的效率。 Spark定義了一個特質 ...