來看看基於Kubernetes的Spark部署完全指南
本文是在Kubernets上搭建Spark集群的操作指南，同時提供了Spark測試任務及相關的測試數據，通過閱讀本文，你可以實踐從制作Spark鏡像、搭建Spark容器集群，到在集群上運行測試任務的完整流程。 Yarn曾經是Hadoop默認的資源編排管理 ...
原文：看看spark的源碼
IntelliJ IDEA安裝plugins,加入scala插件和SBT插件 下載spark的源代碼，下載地址https: github.com apache spark，可以使用git下載或者下載zip包 導入項目，開啟 IntelliJ 之后選擇 Import Project，而后選擇 Spark 源代碼，並將其導入為 SBT 項目，在之后的過程中 SBT 過程將會自動進行，下載作為依賴的 ...
2018-10-10 16:03 0 1109 推薦指數：
相關推薦
透過源碼看看Redis中如何計算QPS
通常我們采集Redis的性能數據時，或者想要知道Redis當前的性能如何時，需要知道這個實例的QPS數據，那么這個QPS數據是如何計算的呢？我們都有哪些辦法或者這個QPS ？ QPS顧名思義 ...
Spring拓展接口之FactoryBean，我們來看看其源碼實現
啊！ 是什么 FactoryBean的源碼比較簡單，大家可以細讀下其注釋，我做了簡單的如下翻譯 ...
Spark源碼分析之Spark Shell（上）
終於開始看Spark源碼了，先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東，其實里面還是有很多知識點的。另外，從啟動腳本入手，是尋找代碼入口最簡單的方法，很多開源框架，其實都可以通過這種方式來尋找源碼入口。 先來介紹一下Spark-shell是什么 ...
Spring MVC的工作原理，我們來看看其源碼實現
前言 開心一刻 晚上陪老丈人吃飯，突然手機響了，我手賤按了免提……哥們：快出來喝酒！哥幾個都在呢！我：今天不行，我現在陪老丈人吃飯呢。哥們：那你抓緊喝，我三杯白酒，把我岳父放倒了才出來 ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
Dubbo源碼學習之-通過源碼看看dubbo對netty的使用
前言 前段時間，從頭開始將netty源碼了解了個大概，但都是原理上理解。剛好博主對dubbo框架了解過一些，這次就以dubbo框架為例，詳細看看dubbo這種出色的開源框架是如何使用netty的，又是如何與框架本身邏輯進行融合的。 本文分成兩大部分，一部分是dubbo服務端 ...