【Spark學習】Apache Spark作業調度機制
Spark版本：1.1.1 本文系從官方文檔翻譯而來，轉載請尊重譯者的工作，注明以下鏈接： http://www.cnblogs.com/zhangningbo/p/4135905.html 目錄 概述 不同應用程序間的資源調度 同一應用程序內的資源調度 ...
原文：【Spark學習】Apache Spark安全機制
Spark版本： . . 本文系從官方文檔翻譯而來，轉載請尊重譯者的工作，注明以下鏈接： http: www.cnblogs.com zhangningbo p .html 目錄 Web UI 事件日志 網絡安全 配置端口 僅適用於Standalone模式的端口 適用於所有集群管理器的通用端口 現在，Spark支持通過共享秘鑰進行認證。啟用認證功能可以通過參數spark.authenticate來 ...
2014-12-01 19:33 0 4071 推薦指數：
相關推薦
【Spark學習】Apache Spark配置
Spark版本：1.1.1 本文系從官方文檔翻譯而來，轉載請尊重譯者的工作，注明以下鏈接： http://www.cnblogs.com/zhangningbo/p/4137969.html Spark配置 Spark屬性 動態加載Spark屬性 查看 ...
Spark（四） -- Spark工作機制
一、應用執行機制 一個應用的生命周期即，用戶提交自定義的作業之后，Spark框架進行處理的一系列過程。 在這個過程中，不同的時間段里，應用會被拆分為不同的形態來執行。 1、應用執行過程中的基本組件和形態 Driver： 運行在客戶端或者集群中，執行Application ...
【Spark】Spark容錯機制
引入 一般來說，分布式數據集的容錯性有兩種方式：數據檢查點和記錄數據的更新。 面向大規模數據分析，數據檢查點操作成本非常高，須要通過數據中心的網絡連接在機器之間復制龐大的數據集，而網絡帶寬往往比內存帶寬低得多，同一時候還須要消耗很多其它的存儲資源。 因此，Spark選擇 ...
【Spark學習】Apache Spark集群硬件配置要求
Spark版本：1.1.1 本文系從官方文檔翻譯而來，轉載請尊重譯者的工作，注明以下鏈接： http://www.cnblogs.com/zhangningbo/p/4135912.html 目錄 存儲系統 本地磁盤 內存 網絡 CPU核數 ...
Spark 學習（六） Spark 的線程安全和序列化問題
一，必備知識 1.1 經典14問 1.2 問題前提 二，序列化問題 2.1 Spark序列化出現情況 2.2 Spark序列化問題解決 三，線程安全問題 3.1 Spark線程安全出現情況 3.2 Spark線程安全問題解決 正文 ...
Spark學習之Spark Core
Spark Core 一、什么是Spark？（官網：http://spark.apache.org） 1、什么是Spark？ 我的翻譯：Spark是一個針對大規模數據處理的快速通用引擎。 Spark是一種快速、通用、可擴展的大數據分析引擎，2009年誕生於加州大學 ...
Spark學習之Spark SQL
Spark SQL 一、Spark SQL基礎 1、Spark SQL簡介 Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了一個編程抽象叫做DataFrame並且作為分布式SQL查詢引擎的作用。http://spark.apache.org/sql/ 為什么要學習 ...