spark 数据分析 之数据清理
//清理格式不匹配的数据 //此代码可以实现自动滤除掉无法转化为double类型的数据 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import ...
原文：Spark GraphX图形数据分析
Spark GraphX图形数据分析 图 Graph 的基本概念 图是由顶点集合 vertex 及顶点间的关系集合 边edge 组成的一种网状数据结构 图数据很好的表达了数据之间的关系 处理的是有向图 图的术语 出度：指从当前顶点指向其他顶点的边的数量 入度：其他顶点指向当前顶点的边的数量 图的经典表示法 了解 邻接矩阵 Spark GraphX 简介 GraphX特点 GraphX核心抽象 弹性 ...
2019-08-10 23:13 0 561 推荐指数：
相关推荐
详细解读Spark的数据分析引擎：Spark SQL
一、spark SQL:类似于Hive，是一种数据分析引擎 什么是spark SQL？ spark SQL只能处理结构化数据 底层依赖RDD，把sql语句转换成一个个RDD，运行在不同的worker上 特点： 1、容易集成：SQL语句 2、对不同的数据源提供统一的访问方式 ...
spark]使用spark进行hbase数据分析
【题外话】 感觉自己很沮丧。我自己认为，我的内心很纯净。 废话说了那么多，我想总结一下最近我学习spark的经验。 最近使用spark做了一个数据分析的项目。 项目采用的基础环境是：spark 1.6.0 hbase 0.98.17 hadoop2.5.2 项目的构建 ...
[USB波形分析] 全速USB波形数据分析(一)
在之前的文章一次CAN波形分析之旅里，根据示波器采集的波形数据，详细地分析了CAN通信。今天来分析USB数据，还是同样的流程，但是这次使用matplotlib来协助分析。 USB基本波形 USB通过一对差分信号进行数据传输，这对差分信号叫D+和D-，用示波器抓取一段D+和D-的信号，保存成 ...
[USB波形分析] 全速USB波形数据分析(三)
前面的两篇文章介绍和分析了USB的一些基本知识，结合前面的介绍，今天用实例介绍USB的枚举过程。 1 | 概况 硬件基于EK-TMC123GXL开发板，软件是TI提供的USB批量传输的简单例子，在PC端用命令行通过USB发送字符串，开发板通过USB返回应对的字符串（发送的是大写字母，返回 ...
数据分析与数据挖掘 - 08图形绘制
一 图的基本构成 1 画图的基本介绍 Matplotlib是数据可视化工作中，最常用的一个可视化库。Matplotlib有非常多的图形，我们很难在短时间内将其掌握，所以我们首先要掌握的是画图的思路和常用的一些图形。创建一个图的步骤大致可以分为9步，当然这9步并不是每一次都需要，只要你知道一个 ...
Spark SQL快速离线数据分析
拷贝hive-site.xml到spark的conf目录下面 打开spark的conf目录下的hive-site.xml文件 加上这段配置（我这里三个节点 ...
Spark快速大数据分析之RDD基础
Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...