Spark监控官方文档学习笔记
任务的监控和使用 有几种方式监控spark应用：Web UI，指标和外部方法 Web接口 每个SparkContext都会启动一个web UI，默认是4040端口，用来展示一些信息： 一系列调度的stage和task RDD大小和内存的使用概况 环境变量信息 ...
原文：Spark Streaming官方文档学习--上
官方文档地址：http: spark.apache.org docs latest streaming programming guide.html Spark Streaming是spark api的扩展 能实现可扩展，高吞吐，可容错，的流式处理 从外接数据源接受数据流，处理数据流使用的是复杂的高度抽象的算法函数map reduce join window等 输出的数据可以存储到文件系统和数据 ...
2016-08-17 10:03 0 2149 推荐指数：
相关推荐
关于运行官方Spark Streaming 实例代码的坑
实际上是没有执行的，再看官方文档 传送门 翻译过来的意思是： 在本地运行Spark ...
Spark学习之路 （二十二）SparkStreaming的官方文档
官网地址：http://spark.apache.org/docs/latest/streaming-programming-guide.html 一、简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理 ...
Spark学习之路 （二十三）SparkStreaming的官方文档
一、SparkCore、SparkSQL和SparkStreaming的类似之处 二、SparkStreaming的运行流程 2.1 图解说明 2.2 文字解说 1、我们在集群中 ...
《Spark 官方文档》机器学习库（MLlib）指南
spark-2.0.2 机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API ...
Spark 官方文档（4）——Configuration配置
Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 ...
Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南
Spark Streaming 编程指南 概述 一个入门示例 基础概念 依赖 初始化 StreamingContext Discretized Streams (DStreams)（离散化流） Input DStreams 和 Receivers（接收器 ...
kafka+spark streaming+redis学习
针对这段时间所学的做了一个简单的综合应用，应用的场景为统计一段时间内各个小区的网络信号覆盖率，计算公式如下所示： 分子：信号强度大于35的采样点个数 分母：信号强度为非空的所有采样点个数 ...